선형회귀 계산기 (최소제곱법)

선형회귀 계산기 쉽게 이해하기 — 개념과 원리

단순선형회귀는 (x, y) 점들에 가장 잘 맞는 직선 y = bx + a를 찾아 추세를 설명하고, 새로운 x에서 y를 예측하는 방법입니다. 검량선 작성, 생산량에 따른 비용, 매출 추세 분석, 각종 실험 보고서에서 널리 쓰입니다.

계산 방법

• 기울기 b = Σ(x − x̄)(y − ȳ) ÷ Σ(x − x̄)²
• 절편 a = ȳ − b x̄
• 예측값 ŷ = b x + a
• 결정계수 R² = 1 − SSR ÷ SST입니다. SSR = Σ(y − ŷ)²는 잔차제곱합, SST = Σ(y − ȳ)²는 총제곱합입니다.
• 추정값의 표준오차 = √[SSR ÷ (n − 2)]로, 점들이 직선에서 세로로 벗어나는 전형적인 거리이며 단위는 y와 같습니다.

기울기의 단위는 'x 1단위당 y의 단위', 절편의 단위는 y의 단위입니다.

원리

최소제곱법은 세로 방향 오차의 제곱합이 가장 작아지도록 직선을 고르는 방법입니다. 제곱합을 a와 b로 각각 미분해 0으로 놓으면 위의 두 공식이 나오고, 이 직선은 항상 평균점 (x̄, ȳ)를 지납니다. 제곱을 하면 큰 오차에 더 큰 벌점을 주고 해가 하나로 정해집니다. 르장드르가 1805년에 발표했고, 이후 가우스가 확률적 근거를 제시했습니다. 분모의 n − 2는 자료에서 모수 두 개를 추정했기 때문입니다.

예제 풀이

1. X = 1, 2, 3, 4, 5, Y = 2.2, 4.1, 6.2, 7.9, 10.1이며 평균은 x̄ = 3, ȳ = 6.1입니다.
2. Σ(x − x̄)(y − ȳ) = 19.6, Σ(x − x̄)² = 10이므로 기울기 b = 1.96입니다.
3. 절편 a = 6.1 − 1.96 × 3 = 0.22이고 직선은 y = 1.96x + 0.22입니다.
4. 잔차는 0.02, −0.04, 0.10, −0.16, 0.08이므로 SSR = 0.044, SST = 38.46입니다.
5. R² = 1 − 0.044 ÷ 38.46 = 0.9988559542, 표준오차 = √(0.044 ÷ 3) = 0.1211060142입니다.
6. x = 6에서의 예측값은 1.96 × 6 + 0.22 = 11.98입니다.

결과 해석

기울기는 x가 1 늘 때 y가 1.96 늘어난다는 뜻입니다. R²가 1에 가까우면 점들이 거의 직선 위에 있고, 0.5 안팎이면 흩어짐이 큽니다. 표준오차(여기서는 0.12)는 예측 오차의 전형적인 크기로, 잔차가 정규분포라면 ŷ ± 2 × 표준오차 안에 대부분의 점이 들어갑니다. x = 6은 자료 범위(1~5)를 약간 벗어난 외삽입니다.

흔한 실수

• 관측된 x 범위를 크게 벗어나 외삽하는 경우
• 잔차 그림으로 곡선 형태나 이상값을 확인하지 않고 R²만 보고 판단하는 경우
• X와 Y를 바꿔 넣는 경우: y로 x를 회귀하면 다른 직선이 나옵니다.

자주 묻는 질문

절편이 의미 없을 수도 있나요?

네. 키 0 cm처럼 x = 0이 자료 범위 밖이면 절편은 직선을 고정하는 수학적 값일 뿐입니다.

R²와 상관계수는 어떤 관계인가요?

단순선형회귀에서는 R²가 x와 y의 피어슨 상관계수 r의 제곱과 같습니다.

점은 몇 개가 필요한가요?

이 계산기는 3개 이상이면 되지만, 잡음이 많은 자료에서 믿을 만한 기울기를 얻으려면 훨씬 더 많은 점이 필요합니다.

출처: NIST/SEMATECH e-Handbook of Statistical Methods, Section 4.1.4.1 Linear Least Squares Regression. · Montgomery, D. C., Peck, E. A. & Vining, G. G. Introduction to Linear Regression Analysis. Wiley.