대부분의 기업은 성장을 위해 더 많은 '아이디어'를 원하지만, 정작 성장을 가로막는 병목은 아이디어의 부족이 아니라 어떤 아이디어가 진짜 수익을 가져다줄지 판별하지 못하는 검증 시스템의 부재에 있습니다. 가설 목록은 잔뜩 쌓여있지만, 실제 데이터를 열어보면 0.04~0.09 사이의 P-value를 오가며 아무런 결론도 내리지 못하는 '애매한 실험'만 반복되는 경우가 허다합니다. 결국 팀은 다시 직관에 의존하는 의사결정으로 회귀하고, 실험은 그저 '해봤다'는 기록용 이벤트로 전락합니다.

출처: A/B Testing: The Science of Not Fooling Yourself - Neweconomies

마이크로소프트와 구글의 가설실험 시스템을 구축한 론 코하비(Ronny Kohavi)는 대부분의 아이디어는 실패하며, 심지어 고도로 숙련된 팀이 세운 가설조차 70~90%는 중립적이거나 부정적인 결과를 낸다고 경고합니다. 그는 아이디어의 화려함보다 그 아이디어를 검증하는 시스템의 신뢰성(Trustworthiness)이 성장의 속도를 결정한다고 강조합니다. 즉, 성장하는 조직은 '틀릴 수밖에 없는 가설'을 얼마나 빠르고 적은 비용으로 걸러내어 다음 단계로 넘어가느냐에 자원을 집중합니다. 이것이 바로 가설실험 설계가 통계학의 영역을 넘어 비즈니스 리소스 배분의 최적화 영역인 이유입니다.