검정력과 표본 크기 쉽게 이해하기 — 개념과 원리
검정력은 실제로 존재하는 효과를 연구가 찾아낼 확률입니다. 자료를 모으기 전에 각 집단에 몇 명이 필요한지 정할 때, 또는 계획한 설계가 얼마나 민감한지 확인할 때 검정력 분석을 합니다. 이 계산기는 독립인 두 집단의 평균을 양측 t 검정으로 비교하는 경우를 다루며, 효과는 코헨의 d로 나타냅니다.
계산 방법
- z값: z₁₋α/₂는 양측 유의수준에 해당하는 표준정규분포의 분위수(α = 0.05이면 1.96), z₁₋β는 목표 검정력의 분위수(80%이면 0.8416)입니다.
- 집단당 표본 크기: n = 2(z₁₋α/₂ + z₁₋β)² ÷ d² + z₁₋α/₂² ÷ 4이며 올림합니다. 마지막 항은 정규근사 결과를 t 검정의 정확한 값에 가깝게 맞추는 작은 보정입니다.
- 주어진 n의 검정력: 검정력 ≈ Φ(d√(n/2) − z₁₋α/₂)이며 Φ는 표준정규분포의 누적분포함수입니다.
d는 평균 차이를 공통 표준편차로 나눈 값이므로 단위가 없습니다.
원리
집단당 n명이면 두 평균 차이의 표준오차는 σ√(2/n)입니다. 실제 차이를 이것으로 나누면 기대되는 검정통계량 d√(n/2)가 나옵니다. 검정은 통계량이 임계값 z₁₋α/₂를 넘을 때 기각하므로, 검정력은 d√(n/2)를 중심으로 한 정규분포가 그 선을 넘을 확률입니다(반대쪽의 아주 작은 꼬리는 무시합니다). 이 확률을 목표값과 같게 놓고 n에 대해 풀면 표본 크기 공식이 됩니다. n은 1/d²에 비례하므로 효과크기가 절반이 되면 필요한 표본은 약 네 배가 됩니다.
예제 풀이
- 입력: d = 0.5, α = 0.05, 목표 검정력 80%, 검정력 확인용 n = 50
- z₁₋α/₂ = 1.95996, z₁₋β = 0.84162, 합 2.80158
- 2 × (2.80158 ÷ 0.5)² = 62.79, 보정항 0.96을 더해 63.75 → 집단당 64명
- n = 50일 때 0.5 × √25 − 1.95996 = 0.54004, Φ(0.54004) = 70.54%
| 효과크기 d | 목표 검정력에 필요한 그룹당 n |
|---|---|
| 0.125 | 1,006 |
| 0.25 | 253 |
| 0.375 | 113 |
| 0.5 | 64 |
| 0.625 | 42 |
| 0.75 | 29 |
| 1 | 17 |
결과 해석
관례적으로 80%가 최소 기준이며, 이는 실제 효과를 놓칠 확률이 20%라는 뜻입니다. 확증 연구에서는 90%도 흔히 쓰며, 예제 조건에서는 집단당 86명이 필요합니다. 비중심 t분포로 정확히 계산하면 64명일 때 약 80.1%, 50명일 때 약 69.7%로 근사와 거의 같습니다. 결과는 집단당 인원이므로 64명은 총 128명을 뜻하며, 탈락자는 따로 더해야 합니다.
흔한 실수
- 작은 예비연구나 부풀려졌을 수 있는 선행 결과의 d를 그대로 쓰는 경우
- 탈락·결측을 고려한 추가 인원을 빼먹는 경우
- 유의하지 않은 결과 뒤에 '사후 검정력'을 계산해 의미를 부여하는 경우
자주 묻는 질문
효과크기를 모르면 무엇을 넣어야 하나요?
실제로 의미 있는 최소 차이를 현실적인 표준편차로 나눈 값을 넣습니다. 0.2, 0.5, 0.8은 대략의 기준일 뿐입니다.
단측검정에도 쓸 수 있나요?
α 칸에 단측 α의 두 배를 넣으면 같은 계산이 됩니다.
출처: Cohen, J. Statistical Power Analysis for the Behavioral Sciences, 2nd ed. (1988). · Guenther, W. C. (1981). The American Statistician, 35(4), 243–244.