그로스, 잘 하고 있는 게 맞을까요?

"이거 다른 회사에서도 하던데요?"
"네, 성공 사례로 많이 나와서 저희도 그대로 적용했습니다."
"결과는요?"
"...전환율이 오히려 떨어졌어요."

수백 개 기업이 실험을 시작하는 과정을 옆에서 지켜봤습니다.

도구를 도입해도 잘 쓰지 못하는 회사, 도구가 없어 시작조차 못 하는 회사, 실험을 돌리고도 결과를 믿지 못하는 회사를 계속 만났습니다.

그러면서 한 가지가 분명해졌습니다.

그로스는 결국 결정의 문제라는 것입니다.

무엇을 고칠지 정하는 일부터가 결정입니다

서비스에는 고칠 것이 늘 많습니다. 가입 흐름도 어색하고, 검색 결과도 아쉽고, 결제 단계도 길죠. 그런데 팀의 시간은 정해져 있습니다.

그래서 매번 골라야 합니다. 무엇을 먼저 할 것인가.

이때 기준이 없으면 목소리가 큰 사람의 의견으로 갑니다. 혹은 잘나가는 회사가 하는 걸 따라 하게 됩니다. 위의 대화가 그렇게 나옵니다.

남들에게 통한 방식이 우리 고객에게도 통한다는 보장은 없습니다. 어떤 서비스에서 효과가 있었던 것이 다른 서비스에서는 정반대로 나오기도 합니다. 확인하는 방법은 우리 고객에게 직접 물어보는 것, 그러니까 실험뿐입니다.

그런데 실험을 한다고 답이 나오지는 않습니다

"이번 캠페인 성과가 어땠나요?"
"재구매율 10.8%, 매출 4,500만원 나왔습니다!"
"좋네요. 그런데 캠페인을 안 했어도 그 정도 성과는 나오지 않았을까요?"
"..."

이 캠페인은 대조군이 필요했던 경우입니다. 안 보낸 그룹이 있어야 우리가 만든 증가분을 셀 수 있으니까요. 반대로 대조군이 필요 없는 실험도 많습니다.

중요한 건 이 둘을 구분하는 일입니다. 그리고 구분 기준은 생각보다 간단합니다.

이 결과를 보고 "아예 안 하기로" 정할 수도 있는지 생각해보면 됩니다.

설계만의 문제도 아닙니다. 숫자가 올랐다고 성공은 아닙니다. 우연일 수도 있고, 다른 지표가 나빠졌을 수도 있고, 회사 전체로 보면 남는 게 없을 수도 있습니다. 결과를 읽는 것과 결정을 내리는 것은 다른 일입니다.

AI에게 물어보면 되지 않나요?

분석 자체는 이제 어렵지 않습니다. 실험 후보를 뽑아달라고 하면 열 개도 만들어 줍니다.

그런데 그 열 개를 받아 들고 나면 이런 상황이 됩니다. 개발 리소스가 필요한 것이 일곱 개인데 우리 팀은 이번 분기에 다른 일정이 잡혀 있습니다. 나머지 세 개 중 두 개는 이미 작년에 해봤는데 효과가 없었습니다. 남은 하나는 트래픽이 부족해서 결과가 나오는 데 반년이 걸립니다.

AI는 우리 회사 사정을 모릅니다. 개발 일정도, 지난 실험 이력도, 트래픽 규모도 모른 채로 아주 자신 있게 답을 줍니다.

결국 무엇을 물어볼지, 나온 답 중에 무엇을 고를지는 사람이 정합니다.