홍라이프 계산기본페로니 보정 계산기 쉽게 이해하기 — 개념과 원리
이 계산기는 여러 가설 검정을 한꺼번에 할 때 유의수준을 보정합니다. 본페로니와 시다크 기준값, 보정하지 않았을 때 거짓 양성이 하나라도 나올 위험, 그리고 p값을 넣으면 보정 후에도 유의한 값과 보정된 p값을 보여 줍니다. 변형이 여럿인 A/B 테스트, 여러 결과 변수, 하위집단 분석에 쓸 수 있습니다.
계산 방법
본페로니 기준 = α ÷ m
시다크 기준 = 1 − (1 − α)^(1/m)
보정 없이 거짓 양성이 하나라도 나올 위험(독립 검정) = 1 − (1 − α)^m
본페로니 보정 p값 = min(1, m × p)
- p ≤ α ÷ m이면 보정 후에도 유의하며, 이는 m × p ≤ α와 같습니다.
원리
α = 0.05로 한 번 검정하면 실제 효과가 없을 때 5% 확률로 거짓 양성이 나옵니다. 검정을 많이 하면 그중 하나라도 거짓 경보일 확률이 커져, 독립 검정 5개면 약 22.6%가 됩니다. 본페로니 부등식에 따르면 여러 사건 중 하나라도 일어날 확률은 각 확률의 합을 넘지 않으므로, 각 검정을 α ÷ m으로 하면 검정이 독립이든 아니든 전체 위험이 α 이하로 유지됩니다. 시다크 기준은 독립 검정에서 정확하며 조금 덜 엄격합니다.
예제 풀이
기본값: α = 0.05, m = 5, p값 0.003, 0.012, 0.021, 0.04, 0.31.
- 본페로니 기준 = 0.05 ÷ 5 = 0.01입니다.
- 시다크 기준 = 1 − 0.95^(1/5) = 0.0102062입니다.
- 보정 없는 위험 = 1 − 0.95⁵ = 22.62%입니다.
- 0.01 이하는 0.003뿐이므로 1 / 5개(0.003)가 유의합니다.
- 보정 p값 = 5 × p(최대 1): 0.015, 0.06, 0.105, 0.2, 1입니다.
| 전체 유의수준 α | 본페로니 기준 α ÷ m |
|---|---|
| 0.0125 | 0.0025 |
| 0.025 | 0.005 |
| 0.0375 | 0.0075 |
| 0.05 | 0.01 |
| 0.0625 | 0.0125 |
| 0.075 | 0.015 |
| 0.1 | 0.02 |
결과 해석
보정 후 유의하지 않게 된 p값은 효과가 없다는 증거가 아니라, 검정 횟수를 고려하면 증거가 충분히 강하지 않다는 뜻입니다. 본페로니는 보수적이어서 검정이 많거나 서로 상관이 있으면 실제 효과를 놓칠 수 있습니다. 대규모 선별에서는 벤야미니-호흐베르크처럼 거짓 발견율을 통제하는 방법을 흔히 씁니다. 보정 방법은 자료를 보기 전에 정해 두십시오.
흔한 실수
- 흥미로워 보이는 검정만 세어 m을 사후에 정하는 경우
- 보정 p값을 다시 α ÷ m과 비교하는 경우(이중 보정입니다)
- 결과 변수나 하위집단을 하나 더할 때마다 검정이 늘어난다는 점을 잊는 경우
- 유의하지 않음을 '차이 없음'으로 해석하는 경우
자주 묻는 질문
본페로니 보정이란?
유의수준을 검정 횟수로 나눠 전체 거짓 양성 위험을 α 이하로 유지하는 방법입니다.
언제 써야 하나요?
여러 검정을 하고, 거짓 양성 하나만으로도 결론이 잘못될 수 있을 때 씁니다.
본페로니는 너무 엄격한가요?
검정이 많으면 그럴 수 있습니다. 홈(Holm) 방법은 같은 오류율을 통제하면서 항상 검정력이 같거나 더 높습니다.
출처: NIST/SEMATECH e-Handbook of Statistical Methods, §7.4.7.3 Bonferroni's method