이 글의 원문은 당근 팀 블로그 ‘직관만 믿고 덤볐다가 큰코다친 PM의 사연’에서 확인할 수 있습니다.

이번 글에서는 이런 내용을 확인할 수 있어요! ☑️

• 실험 없이 UI를 변경했다가 지표가 하락한 실패 이야기
• 실수를 솔직하게 공유하고, 빠르게 개선하는 팀 문화
• 직관과 실험의 균형을 잡아 정확하고 빠르게 성장하는 법

이런 분들에게 도움이 돼요! ‍🙋

• 직관으로 결정했다가 안 좋은 결과가 나온 적이 있는 분
• 실패를 발판 삼아 더 크게 성장하는 법이 알고 싶은 분
• 어떤 때 실험하고, 어떤 때 직관으로 결정해야 할까? 궁금한 분

안녕하세요, 당근 PM Demi입니다. 당근은 실험에 참 진심인 조직이에요. 모든 구성원이 실험을 잘 하기 위한 환경과 문화를 꾸준히 만들어가고 있죠. 저는 그중에서도 데이터 분석가 출신의 PM이라, 당근의 실험 문화에 더 적극적으로 말을 얹는 사람이었어요. 그런데 부끄럽게도 정작 제가 서비스에 관한 의사결정을 내릴 때는 실험을 간과했다 큰코다친 적이 있답니다. 실험 없이 배포했다가 힘들었던 제 이야기를 들려드릴게요.

사건의 시작 : 중고거래 키워드 알림 등록 UI

지난봄, 검색실은 중고거래 검색 결과의 ‘검색필터’ 속 숨어있던 세부 항목을 꺼내 검색 결과 화면에서 바로 보여주기 위한 프로젝트를 진행했어요. 하지만 검색 결과 상단에는 ‘키워드 알림 등록하기’나 ‘거래가능만 보기’ 등 이미 많은 기능이 있었어요. 검색 필터 세부 항목까지 펼쳤치면 화면 상단이 너무 복잡해지는 게 문제였죠.

그래서 검색 결과 바로 아래 있던 ‘키워드 알림 등록하기’ 버튼의 위치를 변경하기로 했어요. 키워드 알림은 사용자가 중고거래를 희망하는 물품을 키워드로 등록해 두면 관련 글이 올라올 때마다 알림을 받는 기능인데요. 사용자 재방문에 큰 역할을 하는 만큼 위치 선정이 매우 중요했죠. 저희는 버튼의 위치를 변경하기 위해서 3가지를 고려했는데요. 1) 어떤 기능인지 직관적으로 알 수 있고 2) 눈에 잘 띄면서도 3) 탐색에 방해되지 않는 대안을 찾기 위해 논의했어요.

제가 그 버튼을 아래로 숨겨버렸습니다.

긴 논의 끝에 키워드 알림 등록 버튼의 위치를 상단 바에서 하단 플로팅 버튼으로 변경했습니다. 플로팅 버튼은 스크롤을 내려도 쭉 볼 수 있으니, 경험이 더 좋아지리라 생각한 거죠. 이게 버튼을 숨겨버리는 결정인 줄은 꿈에도 모르고요.

배포 후, 지표를 확인하고 심장이 굳는 느낌이었어요. 처음엔 데이터 로깅에 버그가 있나 싶었어요. 하지만 아니었죠. 검색 결과 화면에서 키워드 알림 등록 수가 일평균 21.3% 떨어졌고, 키워드 알림을 통한 중고거래 매물의 관심과 채팅 수 또한 내려갔어요. 감수하기 어려운, 너무 큰 하락이었어요.

특히 키워드 알림 등록 수를 모바일 플랫폼별로 나눠서 봤을 때 감소 원인이 명확하게 보였어요. iOS가 Android에 비해 6배가량 더 하락했는데요. 그 이유는 각 모바일 기기 하단의 버튼 차이에 있었어요. Android는 이용자가 하단의 내비게이션 버튼을 클릭하면서 자연스럽게 시선이 화면 아래쪽으로 이동할 수 있어요. 반면 iOS는 내비게이션 버튼 대신 홈 인디케이터가 있고 보통 화면 하단을 보며 제스처를 사용하진 않기 때문에 키워드 알림 버튼을 발견하기가 상대적으로 어려웠던 거죠. 버튼이 배경과 동일한 하얀색이어서 눈에 잘 띄지 않는 점도 있었고요. 

탐색에 방해되지 않도록 하려다 발견이 어려워진 문제가 생긴 거예요. 모바일 플랫폼별 차이점은 물론 사용자 시선의 흐름도 고려하지 못한 결정이었죠. 함께 논의했던 팀원들은 제품을 만들면서 키워드 알림을 계속 봐왔으니 쉽게 발견할 수 있었지만, 익숙하지 않은 사용자들에게 잘 보이지 않았던 것은 어찌 보면 당연해요.

마주해야 하는 자기반성의 시간

결과에 대해 검색실의 데이터 분석가 Bailey에게 피드백을 받았어요. 실험하기 딱 좋은 케이스인데 급하게 의사결정한 것이 아쉽다고요. 저도 그 메시지를 받고 아차 싶었고 많이 후회했어요. 돌아보면 같은 프로젝트 안에서도 더 높은 우선순위의 일이 많다 보니, 사용자 지표에 큰 영향을 줄 수 있는 중요한 결정마저 실험하고 검증하는 절차를 따로 갖지 않았던 것이 문제였어요. 당근의 실험 문화가 지금처럼 활발하게 확산되지 않았던 시기라, 해당 결정이 PM으로서 실험을 통해 결정하기 좋은 기능 변화라는 판단을 놓치고 성급하게 의사결정했죠. 지금은 담담하게 제 잘못을 공개하고 있지만, 당시에는 굉장히 절망적이었어요. ‘PM으로서 아직 더 배워야 할 게 많구나’하며 반성하기도 했고요.

전사에 Sunshining하기 🌞

주말 내내 월요일에 출근해서 팀원들에게 뭐라고 말해야 할지 고민했어요. 없던 일로 감추고 문제를 축소하고 싶은 마음도 살짝 솟아났지만, 다시 꾹 눌러 담았어요. 대신 선샤이닝* 해야겠다고 다짐했죠.

*선샤이닝 Sunshinig : 실패를 숨김없이 공유하고 해결하는 모습을 보여주면서 신뢰를 다져나가는 문화로, 넷플릭스의 조직문화를 담은 책 『규칙 없음』에서 소개됐어요.

당근에서는 매주 모든 구성원이 참석하여 각 팀의 주요 사항을 공유하는 전사 회의를 하는데요. 저는 ‘실패 sunshing’이라는 제목으로 검색 키워드 알림 등록 UI 변경과 그 결과를 공유하는 발표를 준비했어요. 

회의 당일, 떨리는 마음으로 문제 상황과 원인 그리고 대응 방법을 공유했는데요…

전사에 실패를 공유하면서, Demi는 날카로운 피드백을 받을 마음의 준비도 미리 했다고 해요. 과연 회의에서 실패 경험을 들은 당근 팀 구성원들의 반응은 어땠을까요? 이후 실패를 극복하고 문제를 해결하기까지의 이야기가 더 궁금하다면, 💡어바웃당근 블로그에서 지금 바로 콘텐츠 전문을 확인해보세요!