이 글은 [비주류VC의 이상한 뉴스레터]에서 발행되었습니다.

이 뉴스레터를 통해 약간은 이상하고 솔직한 VC와 스타트업 세계를 소개해드립니다.

어디에서도 볼 수 없는 가장 빠르고 신선한 VC와 스타트업 소식을 만나보세요.

[뉴스레터 구독 버튼]

AWS와 Azure가 클라우드 시장을 독점하던 시대가 흔들리고 있어요.
'네오클라우드'라는 이름의 반란군이 AI 연산이라는 단 하나의 무기로 빅테크의 아성을 무너뜨리고 있거든요.
VC, PE, 창업자 모두가 지금 당장 알아야 할 인프라 혁명의 핵심을 자세히 알아보는 시간을 가져볼께요.

Source :
· CoreWeave. "S-1/A Registration Statement." SEC EDGAR. 2025.
· Nvidia Corporation. "Jensen Huang Keynote: GTC 2025." Nvidia Developer Blog. 2025.
· Generative Engine Optimization (GEO): What to Know in 2025. Walker Sands. 2024.
· From SEO to Generative Engine Optimization (GEO): Why the new era of search belongs to AI. 2024.

Q : 네오클라우드요? 그게 그냥 클라우드 아닌가요? 혹시 담배 말하는 거예요?

전혀 달라요.;;;;

기존 클라우드, 즉 AWS(아마존 웹 서비스, 아마존의 글로벌 클라우드 서비스), Azure(마이크로소프트 클라우드 플랫폼), GCP(구글 클라우드 플랫폼) 같은 CSP(Cloud Service Provider, 클라우드 서비스 제공업체)는 '종합 백화점'이에요.
데이터베이스, 보안, 네트워킹, 스트리밍, AI, IoT... 수백 가지 서비스를 한 지붕 아래 제공해요.

(Source : Gemini)

네오클라우드는 완전히 반대 철학에서 출발해요.
'딱 하나만 극단적으로 잘하자'는 거예요.
AI 연산에 필요한 GPU 인프라를, 가상화(Virtualization) 레이어 같은 불필요한 소프트웨어 스택 없이 날것 그대로 고객에게 전달하는 인프라 서비스예요. 슬로건도 명확해요.
‘Simple, Fast, Powerful.’
복잡한 설정 없이 GPU 주소를 즉시 받아 바로 쓸 수 있는 '인스턴트 인프라'예요.

왜 이 차이가 중요하냐고요?
AI 모델 학습(Training)은 수천 장의 GPU가 동시에, 지연 없이 협력해야 해요.
기존 CSP의 가상화 레이어는 이 과정에서 필연적으로 지연 시간(Latency)을 만들어내요.
서울에서 부산까지 가는데 고속도로 대신 도심 골목길을 수십 번 돌아가는 것과 같은 구조예요.
네오클라우드는 처음부터 그 고속도로만 깔았어요.

온전히 게임체인저가 될 자격이 있다는 말이죠.

Q : 기존 CSP들이 그냥 따라 하면 되는 거 아닌가요? 왜 그게 안 되나요?

(Source : Gemini)

바로 그게 핵심 함정이에요.

기존 CSP는 구조적으로 따라 할 수가 없어요.
AWS가 수백 개의 서비스를 동시에 제공하는 건, 그 모든 서비스를 하나의 복잡한 네트워킹 구조 위에 얹어놓았기 때문이에요.
이 구조를 허물지 않으면 AI 전용으로 최적화할 수 없고, 허물면 기존 사업 전체가 흔들려요.
이게 대기업의 딜레마예요.
네오클라우드가 기존 CSP를 앞서는 격차가 구체적으로 세 가지 있어요.

첫째, 속도예요.
동일한 Nvidia H100 GPU를 써도, 네오클라우드 환경에서 AI 모델 학습 속도가 의미 있는 수준으로 빨라지는 사례들이 보고되고 있어요.
가상화 오버헤드가 없기 때문이에요.

둘째, 비용이에요.
GPU 한 장당 시간당 비용을 기존 CSP와 비교하면, 같은 연산량에 대해 네오클라우드가 더 저렴한 구조를 갖고 있어요.
불필요한 소프트웨어 라이선스와 중간 레이어 비용이 빠지기 때문이에요.

셋째, 유연성이에요.
기존 CSP는 GPU 수요가 폭발하는 시기에 가용 GPU가 부족한 경우가 잦아요.
네오클라우드는 GPU 확보 자체를 사업의 핵심으로 보기 때문에, 대규모 GPU 클러스터를 기업이 원하는 시점에 즉시 제공하는 능력이 훨씬 뛰어나요.

Q : 글로벌에서 이걸 실제로 하고 있는 네오클라우드 회사들은 어디어디인가요?

(Source : Google)

현재 글로벌 네오클라우드 시장에서 주목받는 회사들이 여럿 있어요.

가장 대표적인 곳은 CoreWeave(코어위브, AI 특화 클라우드 인프라 서비스)예요.
원래 암호화폐 채굴 회사로 시작해서 2019년 AI 클라우드로 피벗했어요.
2025년 3월 Nasdaq에 상장하면서 기업 가치를 약 230억 달러(한화 약 31조 원)로 인정받았어요.
엔비디아가 직접 투자한 회사이기도 해요.

Lambda Labs(람다랩스, GPU 클라우드 및 AI 인프라 서비스)는 AI 연구자와 스타트업을 주요 고객으로 삼는 네오클라우드예요.
GPU 클러스터를 시간 단위로 빌릴 수 있는 구조로, 대규모 모델 학습 실험이 잦은 팀들이 즐겨 써요.

Together AI(투게더에이아이, AI 모델 추론 특화 클라우드 서비스)는 학습(Training)이 아닌 추론(Inference), 즉 이미 학습된 AI 모델을 실제 서비스에 배포하는 단계에 특화된 네오클라우드예요.
오픈소스 AI 모델을 빠르고 저렴하게 API로 제공하는 걸 핵심 경쟁력으로 삼고 있어요.

Crusoe Energy(크루소에너지, 친환경 에너지 기반 AI 클라우드 서비스)는 에너지 측면에서 특화된 네오클라우드예요.
유전 지대에서 버려지는 천연가스를 태워 전기를 생산하고, 그 전기로 GPU 데이터센터를 운영해요.
에너지 비용이 구조적으로 낮아지는 모델이에요.
에너지 해자(Moat)를 가진 네오클라우드의 전형적인 사례예요.

이 회사들의 공통점은 하나예요.
AI 연산이라는 단 하나의 전장에서만 싸운다는 거예요.

뾰족하기 이를데 없죠.

Q : VC나 PE 관점에서는 이 시장에 어떻게 접근하면 될까요?

(Source : Gemini)

투자 레이어를 세 단계로 나눠서 보는 게 가장 명확해요.

첫 번째 레이어는 '인프라 그 자체'예요.
GPU를 직접 소유하거나 장기 임대해서 데이터센터를 운영하는 회사들이에요. 
CoreWeave가 여기 해당해요.
PE 관점에서 주목할 포인트가 있어요.
데이터센터를 소유한 REIT(부동산투자신탁)와 네오클라우드 운영사의 결합이에요. 
안정적인 부동산 임대 수익 위에 AI 수요라는 성장 동력이 얹히는 구조가 되거든요. 
이미 글로벌 PE 펀드들이 이 조합에 빠르게 움직이고 있어요.

두 번째 레이어는 '인프라 위의 플랫폼'이에요.
GPU를 빌려주는 데 그치지 않고, 그 위에 MLOps(머신러닝 운영 자동화) 플랫폼이나 AI 모델 마켓플레이스를 얹은 회사들이에요.
Together AI가 이 방향에 가까워요.
이 레이어의 회사들은 단순 인프라 임대업보다 훨씬 높은 멀티플(Multiple, 기업 가치 배수)을 받아요.
고객이 한번 플랫폼에 적응하면 이탈하기 어려운 락인(Lock-in) 구조가 생기기 때문이에요.

세 번째 레이어는 '소버린 클라우드(Sovereign Cloud, 데이터 주권 클라우드)'예요. 
각국 정부와 금융기관은 데이터 주권 규제 때문에 글로벌 빅테크 클라우드를 쓸 수 없는 경우가 많아요.
자국 내에서만 데이터를 처리해야 하는 이 영역을 파고드는 로컬 네오클라우드가 블루오션이에요.
이미 유럽, 중동, 동남아시아에서 이 방향의 네오클라우드들이 정부 계약을 따내고 있어요.

유닛 이코노믹스 관점에서도 네오클라우드는 기존 CSP보다 유리한 구조예요.
GPU 한 장당 마진율이 높은 이유는, 수백 개 서비스에 비용이 분산되는 기존 CSP와 달리 모든 비용이 단 하나의 인프라에만 집중되기 때문이에요.

Q : 창업자 입장에서는 이 흐름을 어떻게 실전에서 활용해야 할까요?

(Source : Gemini)

핵심 키워드는 '인프라 유목민'이에요.

특정 CSP에 장기 계약을 맺고 락인(Lock-in)되는 순간, 스타트업의 런웨이에 심각한 악영향이 생겨요.
스케일업 시점에 클라우드 비용이 폭발적으로 늘어날 때, 이미 협상력을 잃어버린 상태가 되거든요.

대신 워크로드에 따라 최적의 인프라를 골라 쓰는 하이브리드 전략이 유효해요.
AI 모델을 학습(Training)시킬 때는 CoreWeave나 Lambda Labs 같은 네오클라우드를 활용해서 비용을 낮춰요.
이미 학습된 모델을 실제 서비스에 배포(Serving)할 때는 Together AI 같은 추론 특화 플랫폼이나 안정성이 검증된 기존 CSP를 활용해요.
학습과 배포의 역할을 분리하는 것만으로도 인프라 비용 구조가 크게 달라져요.

이 절감액이 곧 지분 희석(Dilution) 없는 자금이에요.
인프라 비용을 월 5,000달러(한화 약 700만 원) 줄이면, 연간으로는 6만 달러(한화 약 8,400만 원)가 돼요.
이 금액을 추가 지분 없이 확보하는 것과 같은 효과예요.
투자 유치 없이 런웨이를 늘리는 가장 빠른 방법 중 하나가 바로 인프라 전략의 재설계예요.

Q : 결국 네오클라우드가 시장 전체에 던지는 핵심 메시지는 뭔가요?

(Source : Gemini)

"인프라는 더 이상 비용 항목이 아니라, 전략적 자산이에요."

AI 시대 이전까지, 클라우드는 어디서 쓰든 비슷한 것처럼 느껴졌어요.
그런데 AI 연산이 기업 생존의 핵심이 되면서, 어떤 인프라 위에서 연산하느냐가 속도의 차이, 비용의 차이, 그리고 생존의 차이로 이어지기 시작했어요.

네오클라우드의 부상은 단순히 새로운 클라우드 회사들의 등장이 아니에요.
기존 빅테크가 수십 년에 걸쳐 쌓아온 범용 인프라의 패러다임이 흔들리고 있다는 신호예요.
'모든 걸 다 잘하는 인프라'의 시대에서, '하나를 극단적으로 잘하는 인프라'의 시대로 전환이 일어나고 있어요.

지금 이 순간 가장 중요한 질문은 이거예요.
당신의 포트폴리오사, 혹은 당신의 회사는 인프라를 비용으로 보고 있나요, 아니면 전략으로 보고 있나요?

이 차이가 향후 굉장히 큰 차이를 만들어 낼 거예요.

오늘 배우게 된 점을 아래와 같이 정리해 볼께요.

• 네오클라우드는 단순한 클라우드 변종이 아닌 패러다임의 전환임
  AWS, Azure, GCP로 대표되는 기존 CSP는 수백 개의 서비스를 동시에 운영하는 구조적 한계 때문에 AI 연산에 최적화하기 어려워요. 네오클라우드는 이 한계를 구조적으로 해결한 완전히 새로운 철학의 인프라예요. 가상화 레이어를 걷어내고 GPU의 날것의 성능만 전달하는 이 접근법은 속도, 비용, 유연성 세 가지 모두에서 기존 CSP를 앞서요. 이 격차는 AI 수요가 늘수록 더 벌어지는 구조예요.

• 투자 레이어별로 접근 전략이 달라짐
  네오클라우드 시장은 인프라 자체, 인프라 위의 플랫폼, 소버린 클라우드 세 레이어로 나뉘어요. 각 레이어마다 수익 구조와 기업 가치 산정 방식이 달라지기 때문에, VC와 PE는 레이어를 먼저 정의하고 투자에 접근해야 해요. 단순 인프라 레이어는 PE와 REIT의 결합이 유효하고, 플랫폼 레이어는 락인 효과 덕분에 VC가 노릴 수 있는 높은 멀티플이 기대돼요. 소버린 클라우드는 정부 계약과 규제를 이해하는 로컬 플레이어가 유리한 블루오션이에요.

• 창업자에게 인프라 전략은 곧 생존 전략임
  특정 CSP에 락인되는 것은 스케일업 시점에 협상력을 잃는 것과 같아요. AI 모델 학습과 서비스 배포를 다른 인프라에서 처리하는 하이브리드 전략이 비용 구조를 근본적으로 바꿔줘요. 인프라 비용 절감은 지분 없이 런웨이를 늘리는 가장 빠른 방법이에요. 인프라 유목민처럼 유연하게 움직이는 창업자가 더 오래 살아남아요.

• 에너지 조달 능력이 네오클라우드의 진짜 해자임
  AI 연산 수요가 폭발하면서 전력 수급 자체가 데이터센터 확장의 가장 큰 병목이 됐어요. Crusoe Energy처럼 에너지 비용을 구조적으로 낮추는 네오클라우드는 단순히 GPU를 많이 보유한 회사와는 다른 종류의 경쟁력을 가져요. VC는 인프라 기업을 평가할 때 GPU 보유 대수만큼 에너지 조달 구조와 계약 잔여 기간도 꼼꼼히 봐야 해요. 에너지 해자는 단기간에 복제하기 어려운, 진짜 진입장벽이에요.

바로가기

👉🏻 Threads 방문

👉🏻 뉴스레터 구독

👉🏻 Youtube 구독