"모든 모델은 틀리지만, 일부는 유용해요. 고객은 비합리적이지만, 예측 가능하게 비합리적이에요."

✍🏻 LeanX의 데이빗

👋 안녕하세요, 데이빗입니다!

서문.

Ash Maurya. 《Running Lean》 저자. Lean Canvas 창시자.

스타트업 세계에서 "실험하라"는 말은 많이 들어요. 

근데 실험을 어떻게 설계해야 하는지에 대해서는 구체적인 가이드가 부족해요.

A/B 테스트 같은 구체적인 예시는 있지만, 

특정 상황에서 어떤 사고방식으로 실험을 설계해야 하는지에 대한 프레임워크는 잘 없어요.

오늘은 Ash Maurya가 말하는 스타트업을 위한 실험 설계의 원칙을 공유합니다.

Part 1. 실험 설계의 기본 역학

Ash는 과학적 방법론을 연구하고, 이를 스타트업에 적용했어요.

실험의 기본 원칙

왜 타임박스가 중요한가

창업자에게 시간이 가장 희소한 자원이에요.

• 투자자를 더 찾아서 돈을 더 얻을 수 있어요
• 더 많은 사람을 고용하거나, 무료로 일할 사람을 구할 수 있어요
• 하지만 시장 기회의 창이 지나가면, 그건 놓치는 거예요

Part 2. 측정과 분석

실험을 실행한 후에는 데이터를 측정하고 분석해야 해요.

의사가 하는 것처럼

의사가 한 환자에게는 진짜 약을, 다른 환자에게는 위약을 주고, 약이 정말 효과가 있는지 측정하는 것처럼요.

스타트업도 마찬가지:

• 한 고객에게는 제품의 한 버전을, 다른 고객에게는 다른 버전을 보여줘요
• 한 고객에게는 피치의 한 버전을, 다른 고객에게는 다른 버전을 말해요
• 행동 차이가 있는지 측정해요

이게 바로 코호트 분석이나 스플릿 테스트예요.

Part 3. 기대 결과를 어떻게 정할 것인가

여기서 많은 창업자들이 막혀요.

흔한 질문

"이런 것들 다 하고 있는데, 기대 결과를 어떻게 선언해야 할지 모르겠어요."

• 충분한 데이터가 없어요
• 아무도 공유 안 해요
• 아이폰 앱의 좋은 전환율이 뭔지 모르겠어요

함정

숫자를 그냥 정하면, 쉽게 만들어서 항상 성공하는 함정에 빠질 수 있어요.

"10명만 예스라고 하면 돼"라고 정하고, 사람들과 얘기하면서 "어느 정도 예스"를 성공으로 선언할 수 있어요.

Part 4. 9학년 과학 수업의 착각

우리가 생각하는 "과학"

9학년 과학 수업을 떠올려보세요. 

작은 실험복을 입고 실험실에 가서 화학 실험이나 물리 실험을 했어요.

하지만 우리는 돌파적인 발견을 하지 않았어요. 다른 사람의 작업을 반복한 거예요. 

명확하게 정의된 절차를 따라가고, 실수하지 않고 선생님이 미리 준 결과를 얻는 게 우리 일이었어요.

진짜 과학은 다르다

Eric Ries가 말하듯, 과학은 매우 매우 어려워요. 돌파적인 발견은 매일 일어나지 않아요.

돌파적인 혁신을 보면, 많은 것들이 우연적이에요. 빠진 첫 번째 단계가 있어요.

Part 5. 아인슈타인의 멘탈 모델

아인슈타인은 나쁜 실험 과학자였다

아인슈타인은 경력 초기에 매우 나쁜 실험 과학자였어요. 멘토들이 "이 직업 그만두고 다른 걸 해라. 좋은 실험 과학자가 안 될 거야"라고 말했어요.

그래서 특허청에 가서 이론 물리학자가 되기로 했어요.

이론이 먼저, 측정이 나중

아인슈타인은 상대성 이론을 올바르게 세우고, 아무도 측정하기 전에 빛의 속도를 예측했어요. 몇 년 후에 사람들이 그의 이론이 맞다는 걸 검증할 수 있었어요.

멘탈 모델의 힘

아인슈타인은 나중에 말했어요: "수학과 과학이 아니라, 머릿속에 있던 멘탈 모델이었다."

물리학에서 빛의 속도로 움직이는 기차와 빛을 앞뒤로 비추는 것에 대해 얘기하잖아요. 이런 단순한 모델이 우주의 신비를 그의 머릿속에 캡슐화했고, 이걸 사용해서 돌파적인 인사이트를 얻고, 수학과 과학을 끄적여서 이론을 증명하고, 그다음에 측정됐어요.

Part 6. 창업자에게 필요한 모델

실험을 실행하기 전에 모델링

Ash는 창업자들에게도 같은 모델이 필요하다고 말해요.

실험을 실행하기 전에, 비즈니스 모델링이 필요해요.

최근 몇 년간 사람들이 사업 계획서에서 도망치고, 쓰는 것을 꺼려왔어요. 아무도 안 읽으니까요. 하지만 우리는 약간의 모델링을 해야 해요. 아이디어가 뭔지뿐만 아니라, 고객이 어떻게 성장할지에 대한 수학적 모델도요.

어떤 비즈니스든 모델링할 수 있다

• Facebook 같은 바이럴 비즈니스
• SaaS 비즈니스
• 하드웨어 비즈니스

충분한 유사 사례와 모델이 있어서, 어느 정도 예측 가능한 모델을 그리기 시작할 수 있어요.

모든 모델은 틀리지만, 일부는 유용하다

누군가가 말했듯이, "모든 모델은 틀리지만, 일부는 유용해요."

이 모델들이 완벽하지 않지만, 최소한 측정할 수 있는 목표를 줘요. 그 모델을 사용해서 실험을 실행할 때 필요한 예측을 만들어요.

Part 7. 반복 가능성(Repeatability)

Facebook의 예시

Facebook은 10억 명에게 작동하는 걸 보여줄 수 있었지만, 10억 명에게 갈 필요가 없었어요. 처음에는 몇 개의 대학 캠퍼스에서만 했어요.

그들에게는 반복 가능성이 너무 많이 내장되어 있어서, 투자자들을 설득할 수 있었어요:

"우리는 이걸 어떻게 하는지 알아요. 새 대학에 이걸 넣고 30일 안에 학생의 80%를 온라인으로 만들고, 그 중 70%가 매일 로그인할 정도로 좋아하게 만드는 시스템이 있어요. 시계처럼 정확해요. 체크리스트가 있고, 이것들을 하면, 학생들이 예상대로 행동해요."

그 후에 회사들에게 같은 걸 반복했고, 투자자들을 설득했어요: "이건 학생들만을 위한 게 아니에요. 누구에게나 작동할 수 있어요."

반복 가능성 vs 커스터마이징

찾아야 할 것은 반복 가능성이에요.

많은 창업자들이 이런 함정에 빠져요:

• 10명의 고객을 온보딩했는데
• 모두에게 스토리와 제품과 서비스를 조금씩 커스터마이징했어요
• 그러면 진짜 반복 가능성이 없는 거예요

Part 8. 예측 가능하게 비합리적인 고객

반론: "사람은 비합리적이다"

Ash가 아인슈타인 예시를 쓰면 이런 반론이 와요:

"아인슈타인은 쉬웠어요. 우주를 모델링하려고 했으니까. 수학과 과학으로 정해져 있어요. 코드를 깨면 신비를 이해할 수 있었어요. 근데 사람은 비합리적이에요. 그래서 행동을 예측할 수 없어요."

예측 가능하게 비합리적

하지만 분석을 보면, 일정 규모에 도달하면 사람들이 비합리적이지만 예측 가능하게 행동하는 걸 볼 수 있어요. 시계처럼요.

Dan Ariely의 책 《Predictably Irrational》이 이것에 관한 거예요. 

MIT 학생들에게 실험을 했는데, 두 가지 선택을 줬어요. 하나는 그들에게 최선이 아닌데, 

더 매력적으로 보여서 예측 가능하게 그걸 선택했어요.

그들이 비합리적이었지만, 계속 같은 방식으로 행동했어요.

결론: 고객을 모델링할 수 있고, 모델링할 수 있으면 행동을 측정하고 교정 조치를 취할 수 있어요.

Part 9. 유사 사례(Analogs)의 힘

돌파적인 인사이트는 유사 사례에서 온다

과학에서 돌파적인 인사이트가 어떻게 일어나는지 보면, 많은 것이 유사 사례를 찾는 것이에요.

아인슈타인의 예:

• 특허청에 있는 동안 모든 종류의 과학 논문을 읽을 기회가 있었어요
• 많은 아이디어를 얻는 "10,000시간의 연습"을 했어요
• 그다음 자신만의 돌파적인 인사이트를 만들었어요

창업에서의 유사 사례

Walmart:

• 원래는 1인 상점이었고, 지금은 세계 최대 슈퍼마켓이에요
• 경쟁자들을 연구했어요
• 계산대 줄 혁신을 경쟁자에게서 가져왔어요
• 자기 도메인이나 다른 도메인의 유사 사례를 연구해서 가져오고, 시도하고, 작동하면 작동한 거예요

Google:

• 경매 기반 광고 시스템을 발명하지 않았어요
• 다른 사람에게서 빌려왔어요
• 하루 테스트를 실행했고, 놀라운 결과를 봤어요
• 그게 그들의 경매 기반 광고 시스템을 돌렸어요

Part 10. 고객 공장(Customer Factory)

비즈니스 모델의 목표

Ash가 비즈니스 모델의 목표를 보는 방식: 고객을 창출하는 것.

그래서 그는 이걸 "고객 공장"으로 봐요.

궁극적으로 우리가 만들려는 것은 제품들과 상호 연결된 마케팅과 이런 모든 것들의 시스템이에요. 다 서브 컴포넌트들이고, 연결하면 예측 가능한 고객 출력이 있어요.

공장 바닥에서처럼

공장 바닥에서처럼:

• 처리량(throughput)을 늘릴 수 있어요 → 더 많은 고객 → 더 많은 수익
• 줄일 수도 있어요

병목 현상:

기계들을 연결하는 방식을 보면, 한 기계에 병목이 있어요. 

다른 모든 기계를 개선하려고 해도, 처리량을 개선하지 못해요. 모든 게 그 한 곳에서 막히니까요.

비즈니스도 마찬가지예요. 같은 방식으로 연구하면, 어떤 시점에서든 보통 우리를 막는 제약이 몇 개밖에 없어요. 거기에 집중하면, 집중할 맞는 것, 실행할 맞는 실험을 식별하고, 최대 출력을 얻어요.

요약: 실험 설계 원칙

💡 데이빗의 생각

"고객은 비합리적이지만, 예측 가능하게 비합리적이에요."

이게 오늘 레터의 핵심이에요.

한국 창업가들이 자주 하는 실수: "우리 고객은 특별해서 모델링이 안 돼요." 아니에요. 일정 규모에 도달하면, 시계처럼 예측 가능하게 행동해요.

그리고 반복 가능성. 10명의 고객을 온보딩했는데 모두에게 다르게 했으면, 그건 검증이 아니에요. 같은 방식으로 10명이 같은 반응을 보이면, 그게 검증이에요.

🌙 Ash Maurya에게 직접 배운 방법론을 한국어로

[100X Founder 심야 워크샵]

🗓 기간: 13주 | 매주 수요일 밤 11시 ~ 새벽 1시 📍 방식: Zoom 라이브 + 녹화본 제공

저는 현재 Ash Maurya의 100X Founder 과정을 직접 듣고 있어요. 오늘 레터에서 다룬 실험 설계, 반복 가능성, 고객 공장... 이 모든 것을 13주간 체계적으로 실습합니다.

13주 후 얻게 되는 것:

• 스트레스 테스트를 거친 검증된 린 캔버스
• 실제 고객과의 대화에서 얻은 인사이트
• Problem/Solution Fit 검증 결과
• 마피아 오퍼를 통한 초기 트랙션 신호

낮에는 본업에 집중하고, 밤에는 창업 준비를 하는 예비 창업가들을 위한 특별한 시간입니다.

👉 심야 워크샵 신청하기

💼 1:1 코칭이 필요하신가요?

워크샵과 별도로 심층 코칭이 필요하신 분

👉 1:1 코칭 신청하기

🤝 LeanX와 함께하기

📧 이메일: leanstartupmba@gmail.com

📬 더 많은 인사이트를 받아보세요

• LeanX 비즈니스 레터 구독하기 — 매주 글로벌 창업 인사이트를 한국어로
• LeanX 스레드 팔로우하기 — 짧고 임팩트 있는 비즈니스 팁
• LeanX 홈페이지 바로가기 — 프로그램 전체 보기
• 예비/초기창업자 오픈채팅방 — 같은 고민을 나누는 창업자 커뮤니티

본 콘텐츠는 Ash Maurya(《Running Lean》 저자, Lean Canvas 창시자)의 인터뷰 "Design of Experiments for Startups"를 참고하여 제작하였습니다.