이 글의 원문은 당근 팀 블로그 ‘1주 1개 실험하는 프로덕트 팀이 되는 여정’에서 확인할 수 있습니다.

이번 글에서는 이런 내용을 확인할 수 있어요! ☑️

• 당근의 실험 사랑은 어떻게 시작되었을까?
• 1주 1개 실험 문화가 정착하며 발견된 4가지 문제
• 더 많은 실험을, 더 잘 하기 위해 필요한 것들

이런 분들에게 도움이 돼요! ‍🙋

• 사용자 중심 프로덕트를 위한 실험 방법을 알고 싶은 분
• A/B 테스트의 효율과 효과를 높이고 싶은 분
• 더 나은 실험을 위한 데이터 분석가의 역할이 궁금한 분

안녕하세요, 당근 중고거래팀에서 데이터 분석가로 일하고 있는 매튜예요. 당근에서 데이터 분석가는 프로덕트 팀이 실험을 설계하고 실험 결과를 분석하며 팀이 데이터를 기반으로 더 나은 의사결정을 할 수 있도록 돕는 일을 해요. 제가 처음 중고거래팀에서 데이터 분석가로 합류했을 때만 해도 팀이 실험을 잘 활용하지 못했는데요. 이제 중고거래팀은 1주에 1개의 실험을 돌리고 수많은 의사결정에 실험을 활용하고 있어요. 이런 변화의 과정을 공유해보려고 해요.

당근에서 실험이라고 하면 A/B 테스트를 이야기해요. A/B 테스트는 IT회사에서 일하는 분들이라면 모두 한 번씩은 들어보셨을 거예요. A/B 테스트는 기존 요소로 구성된 A안과 특정 요소를 변형한 B안을 비교해 더 나은 성과를 내는 방법이 무엇인지 측정하는 실험인데요.

예를 들어 설명해보자면, 최근에 중고거래팀에서 거래후기와 관련한 A/B 테스트를 진행했어요. 당근에서는 거래를 하고 나면 후기를 남길 수 있는데요. 이때, 상대방이 후기를 작성하면 푸시 알림을 통해 상대방의 후기를 볼 수 있어요. 더 따뜻한 당근이 되기 위해 후기를 받은 사용자도 후기를 남기도록 유도하면 좋다고 생각했고, 실험을 진행했어요.

후기를 받은 사용자를 (1) 랜덤하게 반으로 나눠서 (2) 대조군에게는 기존 화면을 보여주고 실험군에게는 새로운 화면을 보여줬어요. 일정 시간이 지나고 대조군과 실험군의 데이터를 비교해 실제로 실험군의 사용자들이 후기를 더 작성했는지 살펴보는 거예요. 이런 실험 방법을 A/B 테스트라고 해요.

실험을 시작하게 된 시작점

당근은 상당히 초반부터 A/B 테스트를 활용하려고 노력해왔어요. 지금으로부터 3년 전, 한 팀원이 “검색 결과 화면에서 거래완료 게시글까지 디폴트로 모두 보여주면 어떨까?”라는 아이디어를 내놓은 적 있어요. ‘게시글을 쓸 때 판매완료된 게시글을 검색을 통해 많이 둘러보지 않을까?’라고 생각했던 거죠. 이때 A/B 테스트로 실험해보기로 했어요.

검색 결과에서 거래완료 게시글까지 모두 보여주면 글 작성 관련 지표가 좋아질 것이라고 가설을 세워보고 파이어베이스 A/B 테스트 기능을 사용해서 실험을 했어요. 가설대로 실제 글 작성 관련 지표가 좋아지는 걸 발견했어요. 이처럼 실험을 통해 가설이 맞다는 걸 확인하니 실험 자체가 재밌을 뿐 아니라 사용자가 더 잘 사용할 수 있는 프로덕트를 만들 수 있었어요. 실험 결과를 토대로 지금까지도 검색 결과에서 거래완료 게시글을 디폴트로 볼 수 있어요.

사실, 이전까지는 다음 도표에서 “실험을 하지 않을 때”의 흐름으로 프로덕트를 만들어왔어요.

실험을 하지 않을 때는 주로 일을 하다가 혹은 회의를 하다가 떠오르는 아이디어를 주변 팀원에게 자유롭게 말했어요. 괜찮다는 피드백이 많거나 아이디어를 낸 사람이 의지가 있으며 개발해서 배포했고요. 처음 기능이 많지 않았을 때라, 사용자들이 새로운 기능을 사용하는 것을 보면서 아이디어를 평가하곤 했어요. 하지만 여러 기능을 더 좋게 개선하는 단계에 들어가니 이런 방식으로 판단하는 것이 어려워졌어요. 이때 실험을 통한다면 더 명확하게 가설을 확인하게 되고 의사결정도 단순 아이디어가 아닌 사실을 기반으로 할 수 있게 됐어요.

실험을 돌리는 팀이 되기 위해 필요한 것들

하지만 실험을 1주에 1번 돌리게 될 때까지 3년이라는 시간이 걸렸어요. 실험이 좋다는 것을 팀이 함께 경험을 했는데 왜 팀이 일하는 과정에 실험이 녹아드는 데 시간이 오래 걸렸던 걸까요? 다음과 같은 점들이 도전적이었어요. 

1. 실험을 하기 위해 들어가는 추가적인 리소스
2. 실험 설계에 대한 어려움
3. 실험 결과를 해석하는 역량의 부족
4. 신뢰할 수 없는 실험 플랫폼 

하나씩 좀 더 설명해보자면요…

1주 1개 실험문화를 도입하며 겪었던 어려움과 이를 극복한 방법이 궁금하다면?

👉 어바웃당근 블로그에서 지금 바로 콘텐츠 전문을 확인해보세요.