가장 중요하게 생각해야할 질문이지만 저희가 평소에 쉽게 간과하고 있을 수 있는 AI 업계의 현황에 대해 리서치 글을 작성하고자 합니다.

최근에 눈에 들어온 뉴스 아티클이 있는데, 대략 내용은 이렇습니다. “마이크로소프트, 구글과 같은 대기업들은 현재 생성AI 제품들로 이익을 내고 있지 않아 많은 투자자들의 걱정을 사고 있습니다. Github Copilot는 월 $10 구독료가 있지만 마이크로소프트는 오히려 고객 당 $20를 잃고 있습니다. 그 이유에는 클라우드 비용, GPU 비용, 그리고 GPT-4와 같이 비싼 API에 의존한다는 점이 있죠. 이를 해결하고자 기업들에서는 직접 더 싼 AI 모델을 만들거나, 엔드 유저에게 더 높은 구독료를 요구합니다. [https://archive.md/jMM1k]”

이 뉴스가 왜 저에게 더 심각하게 다가왔는지는 전 글들을 확인하시면 알 수 있습니다. 제가 예전에 앞으로 AI 스타트업은 어떻게 살아남아야하는가에 대해서 몇개의 글을 적은 적이 있는데, 그때 가장 우려했었던 것은 기존의 incumbent들이 (클라우드 SaaS 대기업 ex) Google, Microsoft, Amazon, etc.) AI 스타트업들이 하고 있는 제품들을 보고 자신의 기존 제품에 바로 그 AI workflow를 적용시켜버린다면 게임이 끝난다는 것입니다.

Game Over.

그 이유에는 여러가지가 있지만, 기본적으로 incumbent 기업들이 갖고 있는 네크워크 moat와 이미 PMF를 찾은지 한참 지나서 손익분기점을 넘기고도 계속 매출을 내고 있는 점이 가장 큽니다. 여기서 계속 발생하는 incumbent vs 새로운 스타트업의 경쟁 구도는 처음 보는 것이 아닙니다. 지금 생성AI 기술혁신이 발생하면서 많은 대기업들과 스타트업들이 이쪽으로 shift하고 있는 흐름은 예전에 클라우드가 생기고 나서의 shift와 매우 비슷합니다. 반면 Cloud 혁신 때에는 새로 생긴 SaaS 스타트업들이 incumbent (기존의 기업들)보다 시장 우위를 재빠르게 차지했습니다.

SANGEET PAUL CHOUDARY의 “How to lose at Generative AI!” 글에 의하면 그 이유에는 여러가지가 있습니다.

1. Incumbent들은 desktop에 다운받아야 하는 앱을 사용하면서 하나의 소프트웨어와 지원 인프라가 단일 고객에게 제공되는 환경을 구축해놨었는데, 제품 전체를 갑자기 browser로 바꿔야하면서 단일 소프트웨어가 여러 고객에게 제공되어야하는 환경을 구축하는데에 엄청 많은 변화를 요구했음
2. 클라우드로 가기 위해서는 full software stack을 바꿔야 했음
3. GTM 모델이 완전히 다른 구독제 방식으로 바뀌어야 했음 (더 낮은 CAC, 더 높은 churn을 요구함)
4. (CFO가 이 모든걸 이해해야 했음)

이와 다르게 처음부터 Cloud를 지원할 수 있도록 빌딩한 SaaS 스타트업들은 훨씬 쉽고 빠르게 시장을 장악할 수 있었습니다. 하지만 이번 생성AI때의 혁신과는 완전 다른 모습을 볼 수 있습니다. Cloud때와 마찬가지로 많은 incumbent들과 스타트업들이 이 기술에 맞는 플랫폼을 구축하려고 하는데, 지금은 incumbent들이 훨씬 우위를 차지하고 있다는거죠. 그 이유는 위와 완전히 다릅니다.

1. AI 기술들을 전체 코드 architecture가 바뀌지 않아도 API로 쉽게 적용시킬 수 있다는 이점.
2. 이미 B2B 고객들을 대량 보유하고 있는 incumbent에게는 더더욱 쉽게 API 바로 적용, HuggingFace와 같은 앱을 쉽게 구축/호스팅할 수 있는 플랫폼을 바로 활용할 수 있음
3. LLM 학습시키는데 필요한 비용, API 비용, GPU 비용 등을 신생 스타트업보다는 감당할 수 있음

즉 다시 요약을 해보자면, 스타트업들은 초기 PMF를 찾기 위해 무한 실험 사이클을 돌리면서 API 비용과 GPU 비용이 어마무지하게 나오지만, incumbent들은 이미 갖고 있는 고객 베이스 위에 자신의 제품에 알맞는 AI workflow 모델을 적용시키기만 하면 훨씬 빠르고 저렴하게 매출을 올릴 수 있다는 것입니다.

How to win

그렇기 때문에 스타트업이 승산을 조금이라도 더 볼 수 있는 방법은 incumbent들이 이미 자리잡고 있는 기존의 프로덕트 위에 AI 툴을 합치는 방향이 아닌, 1) 자신이 파인튜닝한 AI 모델을 API/제품으로 제공하는 방향으로 가거나 2) AI와 workflow를 혼합시키는 방향으로 제품을 만들어야한다고 생각합니다.

1. 자신이 파인튜닝한 AI 모델 API/제품으로 제공

이 경우에는 수평적으로 가거나 수직적으로 가는 방법이 있습니다. 수평적으로 가는 것은 특정 AI 모달리티(기능)에 포커스를 맞춰 제품을 전범위의 고객에게 제공한다는 것이고, 수직적으로 가는 것은 컨텍스트에 맞게 정말 필요한 타켓 고객에게만 제공한다는 것입니다.

예를 들어 미드저니나 스테이블디퓨전과 같은 이미지 생성AI 모델들은 특정 분야의 그룹을 위한 것이 아니라 이미지 생성을 하고 싶은 누구나 자신의 모델을 base layer로 사용하게끔 합니다. 뤼튼과 같은 경우에도 텍스트 생성 모달리티를 기반으로 수평적 제품을 제공하고 있습니다. 혹은 ‘이루다’ 캐릭터 AI 챗봇과 같은 것도 특정 성격과 말투를 생성하기 위해 파인튜닝한 모델 위에 빌딩해서 다양한 곳에 use case로 활용하는 수평적 제품이죠. 반대로 예를 들어 AI 모델을 여행 데이터에 파인튜닝해서 여행 계획 일정표를 유저의 prompt에 맞게 생성해주는 제품은 특정 고객만을 위한 수직적 제품입니다.

두가지 경우에 각각 장단점이 있는 것 같습니다. 수평적으로 가는 것의 장점은 다른 회사들과 다양하게 파트너십을 맺을 수 있고, 더 많은 개발자들이 자신의 AI 모델을 테스트해보고 빌딩하면서 여러 스타트업들이 자신의 제품을 base layer로 쓸 수 있습니다. (community growth, marketing growth effect)

반면 단점은 처음에 특정 유저/고객에게 집중해서 만드는 제품이 아니기 때문에 첫 고객을 유치하는데에 꽤 많은 시간과 유지/실험 비용이 들 수 있습니다. 즉 모두를 위한 제품이 될 수 있지만 동시에 모두에게 그저그런, 쓸 이유가 명확하지 않은 제품이 될수도 있습니다. 한번에 너무 많은 것을 제공하려고 하다보면 포커스를 놓치기 마련이죠. 그래도 특정 AI 모달리티에만 집중을 한다면 지금 단계에서는 꽤 괜찮을 거라는 생각이 듭니다.

수직적으로 가는 것의 장점은 당연히 특정 use case에게 집중을 하는 것이니까 수평적 방향 보다는 훨씬 빨리 PMF를 뚫는 다는 것입니다. 반면 제품을 제공하게되는 시장 사이즈가 그만큼 작다는 것이 최대 단점일수도 있습니다.

2. AI와 workflow 혼합시키기

이 방향은 제가 전의 글에서 언급한 AI native 제품들을 뜻합니다. AI 기술의 혁신으로 앞으로 10년간 우리가 예상하지도 못할 새로운 패러다임의 비즈니스 모델들과 AI에 맞춘 제품들이 나오게 될 것입니다. 여기서 스타트업들이 우위를 차지하려면 몇가지 점들을 계속 생각하고 있어야 할 것입니다.

• incumbent들이 이미 들어가있지 않은 분야/use case에서 수직적 AI 제품 제공
• incumbent들이 만든 B2B SaaS workflow들을 AI copilot workflow로 다 통합해버리는 제품. 예를 들어 slack+tally+gmail+discord 이런 툴들을 AI가 한번에 업무 자동화해줄 수 있는 제품 (Zapier가 하고 있지만, 아직 기회는 훨씬 더 많이 열려있다고 봅니다.)
• AI native 제품 (AI 기술을 활용한, AI에 의존할 수 밖에 없는 창의적이고 혁신적인 제품. 여태까지 우리가 보지 못한 형태의 비즈니스 모델과 서비스)

3. 추가로 마지막 방향은 처음에 AI 제품을 무료로 출시해서 유저들을 모은 다음, 네트워크를 키워서 점차 가격을 매기는 것. 장점은 PMF를 빨리 찾을 수 있는 것과 커뮤니티를 키운다는 것이지만 단점은 유저들이 왜 pay해야하는지 공감을 하지 못하면 빠른 속도로 제품에서 이탈하게 됩니다.

결론은 스타트업을 빌딩하고 있다면 incumbent가 갑자기 들어와서 이 툴을 자신의 기존 서비스에 장착했을 때 완전히 몰락할 가능성이 없도록 계속 염두에 두면서 빌딩해야 한다는 것입니다.

애초에 손익분기점을 넘길 수 있나요?

AI 스타트업을 하면서 가장 많이 고민하는 점은 제품의 가격을 어떻게 측정해야되는지에 대한 것입니다. 저도 처음에 측정할때 별걸 다 고려하면서 계산했는데,

• 만약 내가 OpenAI API 크레딧을 쓴다면 내가 한번 텍스트를 생성할때마다 몇개의 토큰을 쓰면서 총 얼마의 크레딧이 차감되는지 계산함
• 특정 함수나 LLM을 사용하면 더 비싸다는 것도 고려해야 함
• 몇명의 유저가 내가 지정한 가격에 제품을 사용하면 손익분기점을 넘길 수 있을지 고민

여기서 추가로 생각해야 하는 것은

• 한명의 유저가 얼마나 많이 API 콜을 할지 모른다는 것. 즉 한명의 유저가 내가 예상한 것보다 훨씬 많이 사용해서 뜻밖의 API 크레딧 무한 차감 현상을 경험할 수도 있음.
• 할루시네이션 결과값들도 결국 비용 나간다는 것

그리고 가장 중요한 것은

• 애초에 목표 시장이 작거나, AI 기술을 적용하기에 개방적이지 않은 시장이라면 더더욱 뚫기 어려움
• 특히나 전문성을 요구하는 일은 사람들이 AI에 반감을 보이거나 의심을 함

손익분기점을 넘기고자 엔드 유저에게 높은 가격을 부르게 되면 이익은 발생하겠지만 장기적으로 봤을때에는 유저 경험이 떨어져서 제품의 retention이 급격히 떨어지게 됩니다. 하지만 그렇지 않으면 스타트업 입장에서는 투자 라운드를 돌아야하고, 안 그러면 계속 출혈을 하게 됩니다. 현재 Microsoft, Google, Amazon과 같은 incumbent들도 이런 악순환 굴레를 겪고 있다는 것을 보면 아직은 갈길이 먼 것 같습니다. 앞으로 더더욱 API 비용과 GPU 비용을 낮출 수 있는 기술 발전이 필요합니다. AI가 현재 buzzword여서 내년에는 투자 라운드도 줄어들고 식을 거라는 말이 많이 나오지만, 그렇다기엔 AI 기술이 Chat GPT로 인해 한번 세상에게 어떤 것을 할 수 있는지 보여줬고, 그런 기술이 받춰주는 이상 죽지 않을거라 믿습니다. 그저 keep going하면 될 것 같습니다.