'자본 집약 모델'에서 '지식 집약 모델'로

(w/Gemini)

아래 글은 '25년 12월 20일 제 브런치에 업로드 된 글입니다. 
전체 글 및 다른 글이 궁금하신 분은 옆의 링크에서 더 보실 수 있습니다. : [글 보러가기]

AI 산업: '제조와 연산'의 시대가 저물고, '효율과 연결'의 시대가 열리다

지난 글에서 우리는 현 시점에서 각광받는 AI 분야로 '전력'와 '액침 냉각'을 살펴보았습니다.

당시에 AI 분야 투자는 칩과 데이터센터, 즉 인프라 단에 집중되어 있었고 '전력과 열 관리'가 이 분야의 최대 병목이었기 때문입니다. 하지만 최근 시장의 관심 영역이 점차 변화하고 있습니다.

근래 AI 관련 뉴스에서 가장 눈에 띄는 점은 AI 인프라 투자에 대한 평가가 급격히 보수적으로 변하고 있다는 점입니다. 지금까지의 AI 투자는 소위 엔비디아(NVIDIA)로 대표되는 '칩의 제조와 연산 능력을 누가 더 많이 확보하느냐'는 일종의 병기 경쟁이었습니다.

하지만 최근 시장은 이러한 경쟁이 다음 단계로 넘어가고 있음을 보여주는 듯 합니다. 이러한 변화는 주요 인프라 기업들의 주가 흐름에서도 명확히 드러납니다.

• Broadcom(브로드컴): 어닝 서프라이즈에도 불구하고 주가가 단기간에 약 15% 하락했습니다. 새로운 커스텀 칩인 XPU의 수익성 기대치를 낮추는 발언과 AI 매출 마진이 타 사업부에 비해 작다는 점이 드러나며 장기 성장에 대한 우려가 고조되었습니다.
• Oracle(오라클): 지난 9월 고점 대비 약 40%의 주가 하락을 겪었습니다. 예상보다 큰 자본지출(CapEx)을 지속해야 한다는 발표에 신용 리스크와 수익 실현에 대한 불확실성이 커지며 주가가 크게 조정되었습니다.
• CoreWeave(코어위브): GPU 임대 BM으로 주목받았으나, M&A를 통한 데이터센터 운영 능력 확보 시도가 실패하고, MS, OpenAI에 대한 과도한 매출 의존도, 차입 기반의 무리한 확장이 장기적인 마진 구조에 대한 의구심을 키우며 6월 고점 대비 주가가 60% 가까이 폭락했습니다.

이러한 조정은 AI 산업이 다음 단계로 접어들었으며, 이제 투자가 '자본 집약적 모델'에서 '지식 집약적 모델'로 이동하기 시작했음을 시사합니다.

투자의 무게중심은 이제 단순 제조를 넘어, TCO(총 소유 비용: 제품 구매가뿐만 아니라 운영, 유지보수까지 포함해 드는 전체 비용)을 낮춰주는 '효율'과 '연결' 기술 분야로 이동하고 있습니다.

• 설계(Design) - Synopsys (시놉시스): 엔비디아로부터 20억 규모의 투자를 유치한 반도체 설계 자동화(EDA) 글로벌 1위 기업입니다. 이들은 'DSO.ai'를 통해 칩 설계의 전력·성능·면적(PPA)을 AI로 최적화하며, 더 복잡해지는 AI 칩을 인간보다 효율적으로 설계하고 있습니다.
• 데이터·SW 인프라(Operation) - MongoDB & CrowdStrike: AI 모델의 실제 서비스 구현과 운영 단계가 중요해지면서 필수재로 자리 잡았습니다. MongoDB는 Atlas Vector Search 기능을 추가해 AI DB 역량을 강화했고, CrowdStrike는 AI 에이전트를 보안 관제(XDR)에 적용해 운영 자동화를 실현하고 있습니다.
• 연결(Connectivity) - Celestial AI (Marvell 인수): '빛의 반도체'라 불리는 광학 인터커넥트 기술로 GPU와 메모리 간의 데이터 이동 병목을 해결하는 기업입니다. Marvell은 약 32억 5천만 달러에 이들을 인수한다고 발표하며 AI 시스템의 초고속 연결 구조를 선점하려는 움직임을 보였습니다.

이들의 공통점은 AI 스택 전체의 효율을 개선하여 수익을 만드는 기업이라는 점입니다.

밸류체인: '중간 허브(Middleware)'의 기회

맥킨지의 생성형 AI 밸류체인 분석 보고서에 따르면, 생성형 AI 생태계는 6단계로 구분됩니다. 여기서 하드웨어와 클라우드는 이미 빅테크의 점유물이 되었고, 애플리케이션은 아직 파편화되고 미성숙한 상태입니다.

우리가 주목해야 할 지점은 'Layer 4: 모델 허브 및 MLOps' 입니다.

하드웨어와 파운데이션 모델을 잇는 이 '중간 계층'은 데이터 흐름을 관리하는 전략적 요충지입니다. 하드웨어가 범용화될수록 이를 효율적으로 관리하고 최적화하는 미들웨어 인프라가 새로운 수익 풀이 될 것입니다.

Zilliz: AI의 '기억'과 '신뢰' 그리고 '비용' 문제를 해결하다

이러한 미들웨어 레이어에서 주목 할만한 스타트업이 바로 ‘Zilliz’ 입니다. Zilliz는 생성형 AI의 가장 치명적인 약점인 '기억(Memory)', '비용(Cost)', '신뢰성(Trust)' 문제를 해결하고 있습니다.

1) Problem: 똑똑하지만 잊어버리는 AI

LLM은 어느 것이나 '최신 정보 부재'와 '할루시네이션' 문제를 안고 있습니다. 기업이 가진 방대한 PDF, 이메일 같은 비정형 데이터를 그때그때 AI가 이해하게 하려면, 모델을 새로 파인 튜닝하거나, 모든 정보를 프롬프트에 다 넣어줘야 합니다. 이러한 방식은 비용과 지연 시간(Latency)을 폭증시켜 수익성을 약화시킵니다.

2) Solution: AI를 위한 실시간 장기 기억 장치

이 문제를 해결하는 업계 표준 아키텍처가 RAG(검색 증강 생성)이고, 이를 위해 벡터 데이터베이스(Vector DB)가 필요합니다. Zilliz는 비정형 데이터를 벡터화하여 저장하고, 의미적 유사성을 기반으로 필요한 정보만 검색해 AI에게 전달하는 '실시간 장기기억' 역할을 수행합니다.

3) Impact: 비용 감소와 신뢰성 확보

모델 전체를 다시 학습시키는 대신 벡터 DB만 업데이트하면 되므로 TCO를 획기적으로 낮춥니다. 또한 데이터 소스를 정확히 참조하게 하여 할루시네이션 리스크를 제어하고 기업용 AI 도입의 신뢰성을 확보합니다.

개발자 생태계가 만드는 Zilliz의 해자

왜 빅테크가 만든 서비스가 아님에도 Zilliz가 글로벌 시장에서 주목받을 수 있을까요? 이는 개발자 생태계 특유의 역학 때문입니다.

1) 이노베이터들: 글로벌 단일 시장과 빠른 확산

개발자 생태계는 대부분 이노베이터와 얼리어답터로 신기술 채택 속도가 매우 빠르고, GitHub 같은 커뮤니티를 통해 글로벌 단위로 실시간 소통합니다. 이 과정에서 특정 기술이 효과적이라고 검증되면 국적과 상관없이 순식간에 확산됩니다.

Zilliz가 주도하는 오픈소스 벡터 DB 'Milvus'는 '25년 기준 GitHub 스타 40,000개를 돌파하며 전 세계 개발자들의 신뢰를 얻었습니다. 거대 개발자 커뮤니티의 인증과 그들의 Documentation은 로컬에 국한되지 않고 글로벌 단위로 확산되어, 로컬 사업자와 후발 주자가 넘기 힘든 해자를 형성합니다.

2) 스페셜리스트의 우위

오라클 같은 거대 기업이 DB 시장을 장악하고 있었음에도 MongoDB(빅데이터)나 Snowflake(데이터 웨어하우스)가 성공했듯, 특정 니즈를 완벽히 해결하는 스페셜리스트는 결국 개발자들에 의해 해당 분야의 대표 서비스로 자리매김 하게 됩니다.

기존 DB 강자인 오라클이나 MongoDB도 벡터 검색 기능을 추가했습니다만, 처음부터 네이티브 벡터 DB로 설계된 Zilliz의 아키텍처적 우위(초고속 인덱싱 알고리즘 등)를 따라가기란 쉽지 않습니다.

Zilliz는 데이터가 AI 모델로 들어가는 입구를 선점했습니다. 또한 이를 기반으로 보안, 클라우드 등 인접 영역의 기능을 번들링하여 더 큰 플랫폼으로 성장할 수도 있을 것 입니다.

3) 검증된 PMT (Product-Market-Technology)

Zilliz는 기술적 난이도가 높은 문제를(Tech), 시장이 절실히 원하는 타이밍에(Market), 경제적인 비용 구조(TCO)로 해결해냈습니다.

(1) Market Fit:

• 페인포인트) AI 도입의 최대 걸림돌인 '할루시네이션'과 '데이터 부재', 즉 신뢰성 문제를 해결하기 위한 필수재입니다.
• WTP) 벡터 DB는 오답으로 인한 리스크를 줄이고 비싼 토큰 비용을 아낄 수 있는 대안으로 비용 지불 의사가 큽니다.

(2) Tech Fit:

• 성능) Zilliz의 오픈소스 'Milvus'를 통해 대규모 분산 환경에서 수억~수십억 벡터 규모의 검색을 상용 서비스에 활용 가능한 빠른 속도로 구현해 성능을 입증했습니다.
• 경제성) TCO 관점에서 파인 튜닝 대비 훨씬 저렴하며, 최신 정보도 업데이트할 수 있습니다.

(3) Product Fit:

• UX) 초기 구축이 어려운 벡터 DB를 완전 관리형 클라우드(Zilliz Cloud)로 제공하여, 개발자들이 API 호출만으로 쉽게 AI 성능을 극대화할 수 있습니다.
• 가치 제안) '비용 절감'이라는 정량적 이익과 '리스크 감소'라는 정성적 이익을 동시에 제공합니다.

AI 흐름에 올라타고 길목을 선점하자

최근 오라클이나 코어위브의 주가 조정은 버블의 종말이 아니라, 시장이 재편되는 변화입니다.

연산 능력 고도화와 파운데이션 모델 성능 경쟁이 치열해질수록, 그 중간에서 데이터 흐름과 그 효율을 담당하는 '연결' '운영' 부분의 인프라의 가치는 상승할 수밖에 없습니다

Zilliz는 해상 물류의 파나마 운하처럼, AI 산업에서 데이터가 흐르기 위해 반드시 거쳐야 하는 길목을 담당하는 기업입니다.

국내에도 Zilliz와 다른 접근 방식으로 벡터 DB를 서비스하는 디노티시아(Dnotitia)라는 기업이 있습니다.

디노티시아는 범용성 높은 Zilliz와 다르게 특수 목적 (Verical 영역)의 고성능 솔루션을 지향하고 있습니다. 이를 위해 하드웨어(자체 개발 VDPU 칩), 벡터 DB, 그리고 국문 LLM을 수직 통합하여 고성능 컴퓨팅 환경에서 금융, 공공, 의료 등 보안과 성능이 최우선시되는 버티컬 시장에 '극한의 성능과 보안'을 제공하는 데 집중하고 있습니다.

이렇듯 AI 투자 흐름이 재편되는 이 시점에서, 글로벌과 국내 모두 주목할 만한 기업들이 속속 자리 잡고 있습니다. 앞으로 새로운 가치 사슬의 길목을 선점할 기업들을 주의 깊게 살펴야 하겠습니다.

+) 다음은 제조 분야의 AI 기업 한 곳을 소개해드릴까 합니다. 피지컬 AI..라고 말씀드리고 싶지만 아직 피지컬 AI가 어떤 건지 잘 모르겠어서 함부로 말씀드릴 순 없겠네요. 투 비 컨틴뉴드..