잔차 계산기 쉽게 이해하기 — 개념과 원리
이 계산기는 직선 맞춤의 잔차, 즉 관측한 y 값이 직선보다 얼마나 위나 아래에 있는지를 구합니다. 최소제곱 직선을 직접 구하거나 입력한 직선을 사용하며, 각 잔차, 잔차의 합, 제곱합, 가장 큰 잔차, 잔차 표준오차를 보여 줍니다. 통계 과제, 회귀분석 점검, 이상값이나 곡선 형태를 찾을 때 씁니다.
계산 방법
- 예측값: ŷ = m·x + b
- 잔차: e = y − ŷ(직선 위면 양수, 아래면 음수)
- 최소제곱 직선: m = Σ(x − x̄)(y − ȳ) ÷ Σ(x − x̄)², b = ȳ − m·x̄
- 잔차제곱합: SSE = Σe²
- 잔차 표준오차: √(SSE ÷ (n − 2))
원리
잔차는 각 관측값 가운데 직선이 설명하지 못하는 부분입니다. 최소제곱법은 잔차 제곱합이 가장 작은 직선을 고릅니다. 제곱하면 위와 아래를 똑같이 다루고 큰 오차에 더 큰 벌점을 줍니다. 그 결과 최소제곱 잔차의 합은 항상 0이고, 직선은 (x̄, ȳ)를 지납니다. SSE를 n이 아니라 n − 2로 나누는 이유는 같은 자료에서 기울기와 절편 두 값을 추정했기 때문입니다.
예제 풀이
기본 자료는 x = 1~6, y = 3.1, 4.9, 7.2, 8.8, 11.3, 12.7이고 최소제곱 직선을 씁니다.
- x̄ = 3.5, ȳ = 8, Σ(x − x̄)(y − ȳ) = 34.4, Σ(x − x̄)² = 17.5
- m = 34.4 ÷ 17.5 ≈ 1.96571, b = 8 − 1.96571 × 3.5 = 1.12이므로 ŷ = 1.96571x + 1.12입니다.
- 잔차는 0.0142857, −0.151429, 0.182857, −0.182857, 0.351429, −0.214286이고 합은 0입니다.
- SSE = 0.259429
- 가장 큰 잔차는 5번째 점의 0.351429이고, 잔차 표준오차 = √(0.259429 ÷ 4) ≈ 0.254671입니다.
결과 해석
y 값에 비해 잔차가 작으면 잘 맞는 것입니다. 잔차 표준오차는 y 단위로 본 전형적인 오차 크기입니다. 패턴도 보십시오. 이 예처럼 부호가 무작위로 바뀌면 직선이 적절하고, 곡선 모양, 깔때기 모양, 다른 것보다 훨씬 큰 잔차 하나는 곡선 관계, 변하는 분산, 이상값을 뜻합니다.
흔한 실수
- y − ŷ 대신 ŷ − y로 계산해 부호가 모두 뒤집히는 경우
- 직접 입력한 직선의 잔차 합도 0이라고 기대하는 경우(최소제곱 직선만 그렇습니다)
- 최소제곱에서 항상 0인 잔차 합으로 적합도를 판단하는 경우
- R²가 높다고 잔차의 패턴을 무시하는 경우
자주 묻는 질문
잔차가 양수면 무슨 뜻인가요?
관측값이 직선보다 위에 있어 모형이 과소추정했다는 뜻입니다.
최소제곱 잔차의 합은 왜 0인가요?
절편이 직선을 (x̄, ȳ)에 지나게 해 양수와 음수 오차가 균형을 이루기 때문입니다.
잔차 그림이란 무엇인가요?
잔차를 x나 ŷ에 대해 그린 그래프로, 곡선 형태, 퍼짐의 변화, 이상값을 찾는 데 씁니다.
출처: NIST/SEMATECH e-Handbook of Statistical Methods, §4.1.4.1 Linear Least Squares Regression