홍라이프 계산기계산 방법
각 AI 시안을 현재 광고(대조군)와 양측 두 비율 검정으로 비교해요. 버전당 표본 n = [z₁₋α/2 √(2p̄(1−p̄)) + z₁₋β √(p₁(1−p₁) + p₂(1−p₂))]² ÷ (p₂ − p₁)²이며, p₁은 현재 비율, p₂ = p₁ × (1 + 향상 폭), p̄는 둘의 평균입니다. 시안이 여럿이면 본페로니 보정으로 유의수준을 시안 수로 나눠, 가짜 승자가 하나라도 나올 확률을 정한 수준 근처로 유지해요. 전체 표본 = n × (시안 수 + 1), 필요 일수 = 전체 표본 ÷ 하루 트래픽(버전마다 고르게 나눈다고 가정)입니다.
⚠ 참고용 추정치이며 투자·재무 조언이 아닙니다.
자주 묻는 질문
시안이 많으면 왜 트래픽이 더 필요한가요?
시안마다 따로 표본이 필요하고, 본페로니 보정을 하면 비교마다 더 엄격한 기준을 통과해야 해요. 약한 시안 여러 개보다 좋은 AI 시안 몇 개만 시험하세요.
한 시안이 나아 보이면 바로 멈춰도 되나요?
처음 유의해 보일 때 일찍 멈추면 가짜 승자가 늘어나요. 표본 크기를 미리 정해 끝까지 진행하거나, 순차 검정용으로 만든 방법을 쓰세요.
2026년 11월 10일 확인. 두 비율 비교의 표본 크기(Fleiss, Levin & Paik, Statistical Methods for Rates and Proportions, 3rd ed., Wiley 2003, 4장, 연속성 보정 없는 식)와 다중 비교의 본페로니 보정입니다.