절대 망하지 않는 AI 프로덕트를 만드는 5가지 법칙 (ft. Granola AI PM)

Gemini 3.0과 Claude가 업데이트될 때마다 스타트업이 망하는 이유 (그리고 살아남는 법)

최근 며칠 사이, AI 업계는 또 한 번 발칵 뒤집혔습니다. Gemini 3.0의 압도적인 컨텍스트 처리 능력과 Nano Banana Pro의 미친 디자인 퀄리티, Claude의 정교해진 코딩 및 추론 능력 업데이트 소식이 들려왔죠.

PM이나 창업자라면 등골이 서늘했을 겁니다. 어제까지 우리 팀이 피땀 흘려 개발하던 핵심 기능이, 오늘 아침 거대 모델의 '기본 기능'으로 탑재되어 무료로 풀리는 세상이니까요. 소위 말하는 ‘Sherlocked(플랫폼 기업이 스타트업의 기능을 흡수해버리는 현상)’의 주기가 무서울 정도로 빨라졌습니다.

단순한 'GPT Wrapper(API 껍데기)' 서비스들은 이제 설 자리가 없습니다. 그렇다면 이 살벌한 모델 전쟁 속에서도 살아남는, 아니 오히려 모델이 발전할수록 더 강력해지는 프로덕트는 어떻게 기획해야 할까요?

실리콘밸리에서 가장 주목받는 AI 미팅 노트 앱, Granola(그라놀라)의 창업자 Chris Pedregal의 인터뷰에서 그 해답을 찾았습니다. 그가 말하는 ‘거대 모델의 공습에서 살아남는 5가지 법칙’을 현직자의 언어로 재해석했습니다.

1. '현 LLM 모델의 약점'을 파고들지 마라 (그건 시간문제다)

많은 기획자들이 범하는 치명적 실수가 있습니다. 바로 ‘현재 모델이 못하는 것’을 기회로 착각하는 것입니다.

실패하는 기획: "현재 LLM은 토큰 제한(Context Window) 때문에 1시간짜리 회의를 한 번에 요약 못 해. 우리가 텍스트를 정교하게 쪼개서(Chunking) 처리하는 파이프라인을 짜자!"
잔혹한 현실: 몇 달 뒤, Gemini 1.5 Pro나 3.0 같은 모델이 수백만 토큰을 한 번에 처리해버립니다. 그 순간, 여러분 팀이 몇 달간 공들인 '청킹 엔지니어링'은 레거시 코드(Legacy Code)가 되어버립니다.

Insight:

모델의 성능(Latency, Context length, Reasoning)은 플랫폼 기업(OpenAI, Google)이 해결할 문제입니다. 스타트업 PM은 “모델 성능이 무한대로 좋아져도 여전히 남아있을 유저의 문제”에 베팅해야 합니다. 기술적 제약을 뚫는 건 우리의 몫이 아닙니다. 우리는 그 기술 위에서 워크플로우를 설계해야 합니다.

2. 얇고 넓게? 아니, 좁고 깊게(Narrow & Deep) 파라

범용 챗봇(ChatGPT, Claude)은 이미 너무 똑똑합니다. '모든 것을 다 해주는 비서' 포지셔닝으로는 절대 이들을 이길 수 없습니다. 승부처는 버티컬(Vertical)입니다.

Granola는 오직 '미팅 노트' 하나만 팠습니다. 그런데 여기서 중요한 건 단순히 "프롬프트를 잘 깎았다" 수준이 아니라는 겁니다.

경쟁 우위의 재정의: Granola는 미팅 노트 퀄리티를 위해 LLM 튜닝뿐만 아니라, 사용자가 이어폰을 안 꼈을 때 발생하는 하울링을 잡는 오디오 드라이버까지 직접 건드렸습니다.
왜? 사용자는 "AI가 글을 잘 써서" 감동하는 게 아니라, "내 회의 기록 경험이 매끄러워서" 감동하기 때문입니다.

Insight:

AI는 거들 뿐입니다. 경쟁사들이 API 호출 방식만 고민할 때, 살아남는 팀은 Full-stack UX를 깎습니다. 사용자가 느끼는 10배 더 나은 경험(10x Better Experience)은 종종 AI 바깥(UI, 오디오 처리, 속도 등)에서 결정됩니다.

3. 프롬프트 엔지니어링? 아니, '컨텍스트 설계'다

아직도 "요약은 3줄로 해줘" 같은 지시형(Instruction) 프롬프트에 집착하고 계신가요? Chris는 AI를 “매우 똑똑하지만, 오늘 처음 출근해서 눈치 없는 명문대 인턴”으로 정의합니다.

이 인턴에게 일을 잘 시키려면 "A 하지 말고 B 해"라고 잔소리하는 것보다, 이 일이 왜 필요한지 배경(Context)을 설명하는 게 훨씬 효과적입니다.

Bad PM: "핵심 내용 위주로 요약해." (기준이 모호함)
Good PM: "너는 지금 시리즈 A 투자 심사역의 미팅 기록을 작성 중이야. 이 문서는 투자심의위원회에 올라갈 거야. 성장 지표(Metric)와 팀 리스크(Team Risk) 위주로 정리해 줘."

Insight:

모델이 업데이트될 때마다 프롬프트가 깨진다고 불평하지 마십시오. 프롬프트의 본질은 '지시'가 아니라 '맥락 주입(Context Injection)'입니다. 누가, 왜, 무엇을 위해 이 기능을 쓰는지 정의해 주는 것, 그것이 AI PM의 핵심 역량입니다.

4. 비용(Cost)을 아끼지 마라, 그게 대기업의 약점이다

구글이나 MS 같은 공룡 기업들이 못 하는 게 딱 하나 있습니다. 바로 ‘비싸고 무거운 모델을 모든 유저에게 돌리는 것’입니다. 그들은 수억 명을 대상으로 하기에 추론 비용(Inference Cost)에 민감할 수밖에 없습니다.

이게 바로 스타트업의 기회입니다.

스타트업의 전략: 유저 한 명 한 명에게 현존하는 가장 비싸고 똑똑한 모델을 쓰세요. 마진이 안 남더라도 압도적인 퀄리티를 제공해야 합니다.
미래 예측: 어차피 AI 비용은 '무어의 법칙'처럼 급격히 떨어집니다. 지금 적자를 보더라도 최고의 경험으로 유저를 락인(Lock-in)시키면, 1년 뒤엔 그 비용 구조가 흑자로 돌아섭니다.

Insight:

"가성비 모델"을 찾지 마세요. 퀄리티와 타협하는 순간, 당신의 프로덕트는 그저 그런 '보급형'이 됩니다. 스타트업의 무기는 '규모의 비효율'을 감수하는 대담함입니다.

5. 데이터 드리븐(Data-driven)의 함정, 결국엔 ‘영혼(Soul)’이 담겨야 한다.

PM들은 습관적으로 A/B 테스트와 정량 데이터(Retention, CTR)를 봅니다. 하지만 Chris는 단호하게 말합니다. "데이터만 보고 만든 제품은 영혼이 없다."

초기 단계의 AI 프로덕트는 프랑켄슈타인처럼 기능이 덕지덕지 붙기 쉽습니다. 이를 하나로 묶어주는 건 결국 창업자(Maker)의 직관(Intuition)과 세계관(Opinionated View)입니다.

Immersion (몰입): Granola 팀은 사무실 벽면에 실시간 유저 피드백을 띄워놓고 산다고 합니다. 데이터 테이블이 아니라, 유저의 목소리에 팀 전체가 '절여져야(Immersed)' 합니다.
Opinionated Product: 사용자가 원하는 걸 다 들어주지 마세요. 대신 “우리가 생각하는 최고의 미팅 노트는 이런 거야”라고 제안할 수 있어야 합니다.