마이크로소프트에서 실험 플랫폼을 이끈 로니 코하비(Ron Kohavi)는 수천 건의 통제 실험 결과를 정리하며 불편한 숫자 하나를 공개했습니다. 핵심 지표를 개선하려고 설계한 아이디어 중 실제로 지표를 올린 것은 약 3분의 1이었습니다. 나머지 3분의 1은 아무 변화가 없었고, 또 다른 3분의 1은 오히려 지표를 떨어뜨렸습니다.

우리는 아이디어의 가치를 평가하는 데 서툴다(We are poor at assessing the value of ideas).

실무에서도 비슷한 장면을 자주 마주합니다. CTA 문구를 바꾸고, 버튼 위치를 옮기고, 랜딩페이지 헤드라인을 여러 버전으로 테스트합니다. 결과는 대개 미미한 차이이거나 통계적으로 유의하지 않은 결과로 끝납니다. 많은 팀이 이를 실험 횟수가 부족한 탓으로 보고 테스트를 더 늘립니다. 하지만 문제는 실험의 양보다 가설의 근거에 있는 경우가 많습니다. 버튼 색과 문구는 고객이 어떻게 클릭하는지를 다룰 뿐, 고객이 왜 돈을 내는지는 다루지 못하기 때문입니다.

지난 10년간 기업들은 그로스 해킹(Growth Hacking) 프레임워크를 통해 혁신적인 성장을 이루어 왔으며, 그 본질적인 가치는 여전히 유효하고 중요합니다. 업의 규모와 관계없이 모든 조직이 A/B 테스트, 사용자 퍼널 최적화, CAC(고객 획득 비용) 최소화에 집중하였고, 많은 기업들이 그로 인해 성장을 이뤄냈습니다.