“이 결과, 정말 믿어도 되는 거야?”

AB 테스트 결과를 보며 이런 생각이 든 적 있으신가요?

클릭률, 전환율, 광고 성과 등 다양한 KPI를 위해 AB 테스트를 자주 실행하지만, 그 결과가 진짜 의미 있는지 판단하기 어려울 때가 많아요. 단순히 “이쪽이 더 높네! 유의미하다고 봐도 되겠어”라고 결론 내리기엔 충분하지 않으니까요.

이번 글에서는 AB 테스트 결과를 제대로 해석하기 위해 필요한 P값(P-value), 신뢰 구간, 효과 크기 개념을 알아보고, 사례와 함께 결과를 분석해볼게요.

1. P값(P-value)이란?

P값(P-value)은 두 그룹(A그룹과 B그룹) 간의 결과 차이가 유의미한지 판단하는데 도움을 주는 지표예요. P값(P-value)을 제대로 이해하려면 귀무가설에 대해 알아야 해요.