당신의 A/B 테스트는 틀렸다? A/A 테스트부터 해보세요

📈 하이퍼컨버전은 마케팅과 전환율을 연구하는 뉴스레터입니다
매주 무료로 인사이트 가득한 뉴스레터 받아보세요 👉 [구독하기]

💡 이런 분들께 추천하는 글이에요

마케팅 성과를 고민하고 계신 분
주기적으로 A/B 테스트를 진행하시는 분
테스트를 더 잘하는 방법을 고민하는 분

Q. A/B 테스트는 익히 들어봤는데 A/A 테스트는 생소하네요.

그렇죠. 아무래도 A/B 테스트에 비해 A/A 테스트는 생소하신 분들이 더 많을 거라 생각합니다. A/A 테스트는 A/B 테스트의 한 형태이지만 목적이나 방법은 약간 다릅니다.

먼저 A/B 테스트에 대해서 다시 한번 살펴볼까요? 이전에 살펴본 바와 같이 A/B 테스트는 A안과 B안의 두 가지 버전에서 어떤 것이 더 좋은 결과를 가져오는지 실험하는 과정을 일컫는 말이죠. 여기까지는 많은 분들이 알고 계실 거라 생각합니다.

A/A 테스트는 동일한 버전의 두 안을 비교하는 실험입니다. 실험군과 대조군에게 완전히 동일한 경험을 제공하고 결과를 비교하는 것이죠. 그리고 두 버전 간에 차이가 발생해야 유의미한 결과로 볼 수 있는 A/B 테스트와는 달리 A/A 테스트는 두 버전 간에 차이가 없어야만 유의미한 결과로 볼 수 있습니다.

이제 A/A 테스트에 대해 조금은 이해가 가시겠죠?

두 버전 간에 차이가 없어야 유의미하다 <출처: SplitMetrics>

Q. 이해가 되었습니다. 그렇다면 A/A 테스트는 왜 진행해야 할까요?

많은 분들이 왜 굳이 똑같은 버전을 테스트하는지 궁금해하실 것 같습니다.

A/B 테스트를 진행해 보셨다면 한 번쯤 이런 생각을 해본 적이 있을 겁니다. ‘정말 이 실험 결과를 믿을 수 있는 건가?’, ‘A안이 B안보다 5% 개선된 결과가 나왔는데 이게 어느 정도로 유의미한 것일까?’

이런 의심 아닌 의심이 발생하는 이유는 실험의 신뢰도와 민감도라는 개념 때문입니다. A/B 테스트의 결과를 믿을 수 있으려면 먼저 A/A 테스트에서 두 버전에 동일한 결과값이 나와야 하는 것이죠. 만약 A/A 테스트에서 두 버전 간에 눈에 띄는 차이가 발생한다면 이는 실험 설계가 잘못되었다는 뜻입니다. 이런 상황에서는 A/B 테스트에서 어떤 결과가 나오더라도 신뢰도가 낮은 데이터로 간주되기 마련입니다.

결론적으로 A/A 테스트는 A/B 테스트의 신뢰성을 담보하기 위해 선행되어야 하는 실험이라고 할 수 있습니다. 다시 말하면 올바른 A/B 테스트를 진행하기 위해서는 필수적으로 A/A 테스트를 진행하여 두 버전이 동일한 결과를 내는지 확인하는 과정이 필요하다는 것이죠.

A/B 테스트, A/A 테스트, 이커머스 — 결과는 나왔지만 일단 의심이 드는 흔한 상황

Q. 그렇다면 이커머스에서 어떤 식으로 A/A 테스트를 적용해 볼 수 있을까요?

기본적으로 A/B 테스트의 방법과 큰 차이는 없습니다. 이커머스에서 주로 테스트의 대상이 되는 랜딩페이지, 웹사이트 UX, 가격 전략과 같은 요소를 테스트하면 됩니다.

다만 A/B 테스트처럼 URL 분할 테스트나 다변량 테스트와 같이 여러 테스트 유형 중에 고민할 필요는 없습니다. 두 가지 버전이 모두 동일하기 때문에 UI를 다르게 하기 위한 방법을 고민할 필요가 없죠. 다만 두 타겟을 어떻게 나눌 것인가에 대한 고민이 필요합니다.

메타, 구글과 같이 특정 광고를 통해 유입되는 사용자만 대상으로 실험을 진행하고자 한다면 각 플랫폼에서 제공하는 테스트 도구를 사용하는 것이 좋습니다. 광고 플랫폼은 굉장히 많은 실험 데이터를 보유하고 있기 때문에 유저 데이터를 고려하여 정확히 사용자를 두 그룹으로 분배해 줄 수 있습니다.

혹은 웹사이트에 유입된 사용자를 대상으로 실험을 진행하고자 한다면 A/B 테스트 기능을 제공하는 전환 최적화 솔루션을 활용하는 것이 좋습니다. 이 방법의 장점은 원하는 형태의 사용자를 대상으로 자유롭게 테스트해볼 수 있다는 것입니다. 구글 검색+네이버 검색과 같이 유입 경로별 특징에 따른 실험 설계도 가능하고 오가닉 유입 같은 광고 플랫폼에서 타겟팅 할 수 없는 트래픽을 대상으로 실험을 해볼 수도 있습니다.

사실 A/A 테스트를 설계하는 방법 자체는 굉장히 간단하죠. 중요한 것은 실험의 타겟을 정확히 나누고 그에 따른 결과가 정확하게 나올 수 있도록 하는 것입니다.

Q. A/A 테스트를 할 때 주의해야 할 점에는 무엇이 있을까요?

A/B 테스트와 마찬가지로 몇 가지 주의해야 할 점이 있습니다.

충분한 샘플 크기 확보

A/A 테스트 역시 충분한 샘플 크기를 확보하는 것이 중요합니다. 예를 들어 동전을 던져서 앞면과 뒷면이 각각 나올 확률을 검증해 본다고 가정해 봅시다. 동전을 던지는 횟수가 3번, 즉 샘플이 3개뿐이라면 실험 결과는 어떻게 될까요?

우리는 경험적으로, 그리고 수학적으로 동전의 각 면이 나올 확률이 50%라는 것을 알고 있습니다. 그러나 동전 3번을 던져서 나오는 조합의 가짓수는 4개이고 이 중 어떤 것이 나오더라도 앞면과 뒷면 중 하나가 더 높은 확률을 보일 수밖에 없죠. 이처럼 충분한 샘플 크기를 확보하지 않는다면 실험의 결과는 편향되게 나올 수밖에 없습니다.

데이터 엿보기 문제

실험을 설계한 사람의 입장에서 빨리 결과를 보고 싶은 마음이 굴뚝같다는 점은 십분 이해가 갑니다. 그러나 이는 테스트 신뢰도를 오염시킬 수 있으니 주의하세요.

많은 실험 설계자가 테스트 중간에 결과를 엿보곤(peeking) 합니다. 만약 이때 우연히 두 그룹 중 한쪽의 데이터가 튀어서 이를 목격한 설계자가 A/A 테스트의 신뢰도가 낮다고 판단한다면 이는 통계적 유의성에 영향을 줄 수 있습니다. 반대로 두 그룹이 50:50의 결과를 내고 있는 과정을 엿보고 A/A 테스트가 성공했다고 판단하는 것도 신뢰도를 오염시킬 수 있죠.

사전에 테스트 샘플과 기간을 정하고 나면 가급적 실험이 끝날 때까지 간섭하지 않는 것이 좋습니다.

트래픽 분배의 어려움

A/A 테스트는 트래픽 분배와 데이터 수집에 오류가 없는지 잘 체크하는 것이 중요합니다. 특히 트래픽을 두 그룹에 무작위로 분배하는 것은 상당한 주의를 요구합니다.

특히 트래픽 분배의 오류는 기술적인 민감도가 높지 않은 조직에서 자주 보이곤 합니다. 월요일과 화요일 데이터를 비교한다던가, 테스트용 솔루션을 사용하지 않고 수동으로 트래픽을 나누는 행위가 대표적입니다. 이런 방식은 신뢰도를 담보하지 않기 때문에 올바른 A/A 테스트라고 볼 수 없습니다. 가급적 테스트를 위한 전용 솔루션을 사용하기를 추천드립니다.