홍라이프 계산기다항회귀 계산기 쉽게 이해하기 — 개념과 원리
이 계산기는 (x, y) 자료에 2차부터 6차까지의 다항식 곡선을 최소제곱법으로 맞춥니다. 적합된 식, 계수, 결정계수 R², 수정 R², 추정의 표준오차, 잔차제곱합, 원하는 x에서의 예측값을 보여 줍니다. 실험의 곡선 추세, 검량선, 성장 자료, 공학 측정값 분석에 씁니다.
계산 방법
모형은 ŷ = a₀ + a₁x + a₂x² + … + a_d·x^d입니다.
- 계수는 SSE = Σ(y − ŷ)²을 최소로 하며, 열이 1, x, x², …, x^d인 행렬 X로 정규방정식 (XᵀX)a = Xᵀy를 풀어 구합니다.
- 높은 차수에서도 정확하도록 x를 중심화·척도화한 뒤 풀고 다시 원래 단위로 바꿉니다.
- R² = 1 − SSE ÷ SST, SST = Σ(y − ȳ)²
- 수정 R² = 1 − (1 − R²)(n − 1) ÷ (n − d − 1)
- 표준오차 = √(SSE ÷ (n − d − 1))
서로 다른 x 값이 최소 d + 1개 필요합니다.
원리
곡선은 직선이 아니지만 모형은 계수에 대해 선형이므로 선형회귀와 똑같이 최소제곱법을 쓸 수 있습니다. 최소제곱법은 점들과의 세로 거리 제곱합이 가장 작은 곡선을 고릅니다. 차수를 하나 올릴 때마다 계수와 굽이가 하나씩 늘어 SSE는 항상 줄어듭니다. 그래서 R²는 차수와 함께 늘기만 하며, 계수 수만큼 불이익을 주는 수정 R²와 표준오차가 차수 선택에 더 적합합니다.
예제 풀이
기본 자료는 x = 0~9, y = 1.0, 2.8, 3.1, 2.5, 2.0, 2.4, 3.9, 6.0, 7.6, 7.9이고, 차수 4, 예측 x = 4.5입니다.
- 최소제곱 적합식: y = −0.0181964x⁴ + 0.341696x³ − 1.92181x² + 3.65915x + 0.932517
- SSE = 0.0982226, 잔차 자유도 n − d − 1 = 5
- R² = 0.998117, 수정 R² = 0.996611
- 표준오차 = √(0.0982226 ÷ 5) ≈ 0.140159
- x = 4.5에서 예측값 ŷ ≈ 2.15742
결과 해석
R²가 1에 가까우면 곡선이 점을 잘 따라간다는 뜻이지만, 점이 적고 차수가 높으면 과적합일 수 있습니다. 여러 차수의 수정 R²와 표준오차를 비교해 충분히 잘 맞는 가장 낮은 차수를 고르십시오. 표준오차는 y 단위로 본 전형적인 세로 오차입니다. 예측은 자료의 x 범위 안에서만 믿을 수 있습니다.
흔한 실수
- R²가 가장 크다는 이유로 가장 높은 차수를 고르는 경우
- 자료 범위 밖으로 외삽하는 경우(다항식은 범위 밖에서 크게 요동칩니다)
- 점을 정확히 d + 1개만 써서 곡선이 모든 점을 지나게 하는 경우
- 계수를 서로 독립적인 효과로 해석하는 경우
자주 묻는 질문
차수는 어떻게 정하나요?
수정 R², 표준오차, 잔차를 보고 모양을 잡아내는 가장 낮은 차수를 고릅니다.
다항회귀도 선형회귀인가요?
네. 계수에 대해 선형이므로 같은 최소제곱법을 씁니다.
x를 왜 중심화·척도화하나요?
큰 x의 거듭제곱은 매우 커지고 서로 거의 비례해 방정식이 불안정해지기 때문입니다.
출처: NIST/SEMATECH e-Handbook of Statistical Methods, §4.1.4.1 Linear Least Squares Regression