이 글의 원문은 당근 팀 블로그 ‘당근의 실험 문화는 어떻게 자리 잡았을까’에서 확인할 수 있습니다.

이번 글에서는 이런 내용을 확인할 수 있어요! ☑️

• 실험이 중요하다고 판단할 수 있는 기준 3가지
• 당근 팀 내부에 실험의 중요성을 전파한 2번의 실험 케이스
• 실험 문화를 위한 당근의 실험 플랫폼, 공유&소통 문화

이런 분들에게 도움이 돼요! ‍🙋

• 실험을 주장하고 설득할 수 있는 근거가 필요한 분
• PM으로서 더 정확한 의사결정 프로세스를 만들고자 하는 분
• 실험이 문화로 자리 잡으려면, 어떤 방법이 있을까? 알고 싶은 분

안녕하세요, 지난 1편에 이어 인사드려요. 저는 당근에서 PM으로 일하고 있는 Demi입니다. 오늘은 지난 1편에서 다하지 못한 이야기와 함께, 현재 당근에서는 실험 문화가 어떻게 자리 잡아가고 있는지 이야기해보려 해요. 

큰코는 왜 다쳤던가, 지난 실패 돌아보기 

첫 번째 글은 제목에서도 드러나는 것처럼, 실험을 하지 않고 의사결정을 해서 생긴 실패 사례에 대한 회고 글이었어요. 사실 PM으로서 실패 경험을 글로 쓴다는 게 좀 창피한 일이기도 해요. 하지만 중요한 건 그걸 어떻게 극복했는지 그리고 극복할 수 있는 환경이었는지라고 생각해요. 당근은 항상 솔직하고 실수를 통해 성장할 수 있는 문화를 가진 조직인데 그걸 외부에서는 알기가 쉽지 않죠. 대부분 인사이트가 많은 케이스나 결과적으로 잘된 제품만 외부에 공유하니까요. 그래서 저는 제가 일한 케이스를 더 솔직히 공유하기로 했어요. 

우선 1편에서의 경험을 통해 배운 ‘실험이 중요하다고 판단할 수 있는 기준’을 3가지로 정리해보면 다음과 같아요. 

• Impact(임팩트) - 대부분 액션은 임팩트를 기대하며 진행하지만, 실제로는 임팩트가 없거나 마이너스 임팩트가 있는 경우도 굉장히 많아요. 때문에 이를 정확하게 알고 의사결정하는 게 굉장히 중요해요. 단순한 전후 비교로는 인과관계에 따른 명확한 임팩트를 측정할 수 없기 때문에 실험이 확실한 인사이트 확보에 도움이 돼요. 이렇게 얻은 레슨런은 의사결정의 품질을 강화시켜주고요.
• Risk(리스크) - 서비스가 다양해지고 복잡해질수록 서비스에 영향을 주는 요소를 해석하는 게 어려워져요. 동시에 리스크도 더 커지고 복잡해지죠. 개선을 위한 액션이 다른 측면에서는 리스크가 될 수 있기 때문에, 실험을 통해 리스크를 정확히 아는 것은 합리적인 의사결정에 큰 자산이 돼요.
• Team Building(팀 빌딩) - 실험은 제품과 사용자를 위한 의사결정뿐 아니라 팀 빌딩에도 주요한 영향을 미쳐요. 실험을 하지 않으면 대부분 ‘‘약간 기여한 것 같아요” 정도로 불확실하게 얘기하는 것만 가능해요. 우리가 가고 싶은 방향으로 임팩트를 잘 만들어내고 있는가를 명확하게 측정하고 이해하는 과정에서 실험이 굉장히 중요한 역할을 해요.

그런데 이런 배움이 개인을 넘어 팀 전체 문화로 퍼질 순 없을까 고민을 시작했어요. 입사 초기에 저는 의사결정을 할 때 실험이 꼭 필요한 것인지 혼자 고민하느라 헷갈렸지만, 그런 일이 다른 구성원들에게는 반복되지 않기를 바랐거든요. 그래서 데이터가치화팀이나 데이터분석가와 가깝게 붙어 실험 문화와 제도에 대해 고민하고 실천해 왔는데요. 이번 편에서는 당근 전사 차원에서 구성원들이 모두 실험을 더 잘할 수 있도록 만들어온 여정을 공유 드릴게요. 

 

비용이 많이 드는 실험, 그 필요성과 중요성을 잡아가기 

사실 실험을 문화로 자리 잡게 하는 건 정말 쉽지 않아요. 실험 자체가 쉽지 않기 때문이에요. 실험을 한다는 건 모든 구성원이 일을 더 해야 된다는 걸 뜻하거든요. 디자이너는 실험 케이스들을 더 만들어야 하고, 머신러닝 엔지니어도 실험을 위해 알고리즘을 여러 개 만들어야 하죠. 또 그게 동시에 사용자에게 서빙될 수 있도록 서버나 화면 구조도 여러 개가 동시 운영되는 구조로 만들어야 해요. PM 역시 실험을 설계하고 분석도 해야 하니까, 해당 프로젝트의 모든 구성원이 더 많은 일을 해야 하는 일이라고 느낄 수 있죠. 

또 한국에서 데이터 분석가가 정식 직무로 자리 잡은 지가 얼마 되지 않았단 배경도 실험의 허들을 높여요. 대부분 데이터 분석이 중요하다고 얘기는 하지만, IT 제품 데이터 분석 관련 직무가 시장에 안착된 지는 정작 10년이 채 안 된 것 같아요. 그러니 데이터 기반으로 일할 때 어떻게 일하고 대화해야 하는지 구체적으로 경험해 본 사람이 별로 없는 거죠. 이런 배경 때문에 대부분 회사에서 소수의 인원만 실험을 진행하거나 중요성에 대해서도 일부만 공감대를 가지고 있는 경우가 많아요. 

결국 실험 문화가 전사에 자리 잡으려면 ‘실험을 해 봤더니 정말 좋다, 이래서 실험을 해야 되는구나’라는 걸 직접 경험해야 해요. 그래야 실험의 필요성을 진짜 공감하게 되고 설득이 가능해지는 거죠. 당근은 이 과정을 어떻게 마련해 왔는지 살펴볼게요.

당근의 실험문화, 어떻게 자리 잡았을까

당근이 전사적으로 실험의 중요성을 직접 체감하게 된 계기가 최근 있었어요. 바로 ‘서비스 성장’이에요. 최근 3년 사이 당근에는 중고거래뿐 아니라 모임, 알바, 비즈니스 등 다양한 동네 구성원을 위한 서비스가 나오면서 복잡도가 올라갔어요. 직관으로 판단하는 단계에서 벗어나 실험을 통해 데이터 기반으로 프로덕트를 성장시켜야 되는 시점에 마주했죠. 그게 제가 입사한 때쯤, 실험에 대한 중요성을 경험하고 고민하던 즘이었던 것 같아요. 

과거에는 어떤 의사결정을 할 때 ‘이런 근거가 있어서 이거 없앨게요’라고 설명하고 공감을 얻으면 바로 결정할 수 있었어요. 하지만 지금은 서비스들끼리 유기적으로 연결돼 있어서 어떤 기능을 없애려면 그에 영향을 받을 수 있는 다른 프로덕트도 꼼꼼히 살펴야 해요. 서비스 복잡도가 드라마틱하게 올라가고 사용자가 많아지면서 세밀한 실험과 정확한 체크가 되게 중요한 시점이 된 거죠. 따라서 액션에 앞서 상당히 많은 것들을 실험하고 파악한 후 결정해야 했어요. 그러면서 당근의 메이커부터 경영진까지, 모든 구성원이 실험의 중요성을 실감하기 시작했죠. 그 중 대표적인 두 가지 실험 케이스를 소개해 보면요…

1. 사용자가 교차하는 검색 탭에서 합리적 의사결정 내리기

2. 이용성을 해치지 않는 건강하고 효율적인 광고 만들기

전사적으로 실험의 중요성을 각인시킨 2번의 실험 이야기, 더 나아가 실질적으로 실험 문화와 제도를 자리 잡게 한 당근의 실험 플랫폼, 공유 및 소통 문화에 대해 더 알고 싶다면! 💡어바웃당근 블로그에서 지금 바로 콘텐츠 전문을 확인해보세요!