• 철도를 깔 때와 AI를 연결할 때는, 비용 구조 자체가 다르다.

요즘 AI 거품론이 꽤 자신만만하게 돌아다닌다. "수백조를 쏟아부었는데 수익이 없다, 이건 전형적인 버블이다." 어디서 많이 들어본 얘기 같지 않나?

잠깐, 2009년으로 가보자. 그 해 맥킨지는 아주 진지하게 보고서를 냈다. 클라우드 컴퓨팅이 기업 자체 데이터센터보다 144% 비싸고, 대기업은 굳이 도입할 필요 없다고. 심지어 "환멸의 계곡(trough of disillusionment)"이라는 표현까지 썼다. 그 뒤로 클라우드는 조용히 600조 원 넘는 시장이 됐다.

지금 AI 버블론은 그 보고서의 복사본처럼 읽힌다. 다만 그때와 결정적으로 다른 게 하나 있다. AI는 철도가 아니라는 거다. 철도는 새 노선을 깔 때마다 땅을 파고 레일을 놓는다. 돈이 물리적으로 따라온다. 그런데 AI는? 엔진 만드는 게 비쌌지, 거기에 연결하는 건 API 하나, 프롬프트 몇 줄, 코드 몇 십 줄이면 된다. 트렌치 안 판다. 소프트웨어를 복사한다.

이 차이를 놓치면, 비용 곡선이 완전히 다른 두 산업을 같은 자로 재는 실수가 된다.


1. 엔진은 이미 만들어졌다. 이제 연결 비용이 거의 0에 수렴하고 있다

• Epoch AI 연구 기준, AI 추론(inference) 비용은 연간 9배에서 최대 900배까지 하락 중이다. 2024년 이후 중위값 하락 속도가 연 50배에서 200배로 오히려 빨라졌다.
• Stanford AI Index는 GPT-3.5급 성능 비용이 18개월 만에 토큰당 $20에서 $0.07로 내려왔다고 분석했다. 280배 하락이다.
• 돈이 이미 움직이고 있다. Menlo Ventures 2025 보고서에서 기업들의 생성형 AI 지출이 370억 달러로 3배 뛰었는데, 절반 이상이 인프라가 아닌 '애플리케이션'으로 흘러갔다.
• Adobe는 분기 AI 단독 매출 1억 2,500만 달러. Zendesk는 AI 처리 티켓 한 건당 $1.50 과금. 둘 다 새 모델 하나 안 만들었다.

새 철로 깔 필요 없이, 기존 선로에 열차만 계속 더 올리면 되는 구조다. 이게 지금 일어나는 일이다.


2. 우리는 지금 '메인프레임' 시대에 있다. PC가 코앞이다

• McKinsey 2025 서베이 기준, AI를 하나 이상의 비즈니스 기능에 쓰는 조직 비율이 2017년 20%에서 2025년 88%로 껑충 뛰었다. 3분의 2는 이미 여러 부서에서 쓴다.
• 지금의 OpenAI, Anthropic, Google 같은 프론티어 모델들은 1970년대 메인프레임에 해당한다. 기술이 뭘 할 수 있는지 증명하는 역할은 끝냈다.
• 컴퓨팅이 메인프레임에 머물지 않았듯, AI도 중앙집중형에 머물지 않는다. 더 작고, 더 특화되고, 더 업무에 밀착된 모델들이 퍼져나가는 PC 시대가 막 시작됐다.
• 확산 방향이 '더 크게'가 아니라 '더 넓게'로 바뀌고 있다. HR, 법무, 마케팅, 재무, 운영 전 영역으로 측면 침투 중이다.

Wall Street는 메인프레임 시대를 보면서 컴퓨팅의 미래를 그리려 한다. PC가 코앞에 와 있다는 걸 못 보고 있는 채로.


3. 2025년 말, 임계점을 조용히 넘었다

• 이제 "흥미로운 데모"와 "실제 매출 만드는 워크플로우" 사이의 경계가 넘어섰다는 평가가 나온다. 이게 버블 질문에 있어 전부다.
• AI 코딩이 첫 번째 킬러 유즈케이스다. 기업 지출 40억 달러, 개발자 절반이 매일 AI 툴을 쓴다. 하지만 이건 그냥 1번 타자다.
• 다음 타자들이 빠르게 따라온다. 고객 서비스 자동화, 문서 처리, 컴플라이언스 모니터링, 세일즈 인텔리전스, 임상 문서화.
• Morgan Stanley는 LLM의 가장 큰 미개척 기회가 콘텐츠 생성이 아니라 '기업 데이터에 대한 AI 추론', 즉 맥락 기반 전략 의사결정에 있다고 짚었다.

설비 투자가 수익으로 전환되는 그 순간을 질적 임계점이라 부른다면, 우리는 지금 그 안에 들어서 있다.


4. 분산화를 가속할 도구들이 조용히 만들어지는 중이다

• 모델 스위칭과 라우팅: 인보이스 필드 추출이나 지원 티켓 분류에 굳이 GPT-4급 두뇌가 필요 없다. 지능형 라우팅만으로 다수 엔터프라이즈 워크로드의 추론 비용을 한 자릿수 배율로 낮출 수 있다.
• 오픈소스 성숙: 2025년 한 해 동안 OpenRouter 기준 추론 제공사가 27개에서 90개로 3배 이상 늘었다. 인기 오픈소스 모델 제공사만 20개가 넘는다. 이제 진짜 가격 경쟁이 붙었다.
• Small Task Model: 핵심은 여기다. 특정 워크플로우에 최적화된 소형 모델을 직접 만드는 방향이다. 실제로 4B 파라미터 모델을 특정 CRM 업무에 훈련시켰더니 프론티어 모델보다 성능이 나왔다. 운영 비용은 공짜 수준이었다고. 이 패턴이 수천 개의 기업 워크플로우에 복제되면, 시장의 진짜 모습이 보이기 시작한다.


5. GPU 감가상각 논리, 추론 혁명을 통째로 빼먹었다

• "비싼 GPU가 수익 내기 전에 가치가 떨어진다"는 주장, 표면적으로 그럴듯하다. 그런데 이건 칩 생태계가 지금 이 상태로 굳어 있다는 가정이 전제된 얘기다.
• NVIDIA의 Groq 인수, 구글 TPU, 아마존 Trainium, 마이크로소프트 Maia, 그리고 이제 막 쏟아지는 엣지 NPU들. 2년 후 칩 환경은 지금과 전혀 다른 모습일 가능성이 높다.
• 구조적으로 보면, AI 추론이 2~3년 내 전체 AI 워크로드의 80%를 차지한다. 그 추론의 75%는 오픈소스나 소형 특화 모델이 담당한다. 프론티어 모델 몫은 25% 정도에 그친다는 게 이 분야 분석의 큰 그림이다.

버블에 대한 모든 경제 예측이 지금 프론티어 모델 훈련 비용 기준으로 만들어지고 있다. 하지만 그 프론티어 모델들이 결국 소수 케이스로 남게 된다는 사실은 계산에 빠져 있다.

버블이 있다면, 작은 버블이다. 그리고 조용히 꺼질 가능성이 높다. 진짜 이야기는 그 다음에 온다.

출처: Rob May, "What The AI Bubble Talk Misses: The Declining Marginal Cost of Additional Use Cases", Investing in AI Newsletter, Feb 28, 2026