💌 이 글은 2026. 04.30 KV 뉴스레터로 발행된 글입니다.
카카오벤처스의 뉴스레터를 구독하고, 매주 인사이트를 메일로 받아보세요!
[ 뉴스레터 구독하기 ]

“판교 현대백화점에 두쫀쿠 팝업 있어?”

이런 질문을 던지면, AI의 답변은 다음과 같이 돌아옵니다.
“그럴 가능성이 높지만, 상황이 바뀔 수 있으니 직접 확인하시길 바랍니다.”

틀린 말은 아니지만 그렇다고 명료하지도 않습니다. AI가 검색 엔진을 대체할 것이니 트래픽의 유실을 두려워해야 한다는 요즘의 흐름과는 영 다른 모습이죠.

오늘의 아티클에서는 그 이유를 찾기 위해 질문을 이어갑니다. 특정 시점의 세계를 스크린샷처럼 포착하는 LLM의 구조적 한계를 살펴보고, 그 한계를 뛰어넘는 데이터를 가진 버티컬 서비스로 시선을 돌립니다.

실시간으로 변하는 정보, 앱 내부에만 존재하는 데이터, 거래 로직에 묶인 정보는 AI가 아무리 크롤링해도 닿을 수 없습니다. 그렇다면 이 데이터를 직접 생성하고 관리하는 버티컬 서비스는 AI 시대에 어떤 위치에 서게 될까요? 버티컬 데이터의 티핑 포인트는 과연 올까요?

AI가 읽지 못하는 데이터의 구조와 버티컬 서비스가 마주한 전략적 선택을 함께 읽어보세요.

• 🖥️ AI는 검색 엔진이 아니라 스크린샷이다? LLM과 RAG의 구조적 한계
• 📂 버티컬 서비스가 가진 데이터 4종류: 실시간 / 거래 / 접근 제한 / 행동 데이터
• 📈 데이터 공급자의 합류는 어떻게 일어나는가: 비자발적 → 인센티브 → 의무의 3단계
• ⚖️ 열어야 할까, 말아야 할까? AI 시대, 버티컬 서비스가 대답해야 할 진짜 질문

특정 시점에 멈춰 있는 AI의 세계

AI가 실시간 정보에 유보적인 대답을 하게 된 건 비교적 최근의 변화입니다. 얼마 전까지만 해도 이미 종료된 팝업을 영업 중이라 안내하거나, 폐업한 식당의 메뉴를 자신 있게 설명했죠.

할루시네이션 문제가 수면 위로 떠오르면서 AI는 불확실한 정보에 스스로 선을 긋기 시작했고, 사용자가 직접 확인하길 권한다는 답변이 나오기 시작했습니다.

그렇다면 AI는 왜 이런 질문을 ‘불확실한 정보’라고 분류할 수밖에 없는 것일까요? LLM의 구조를 보면 그 이유가 명확해집니다

LLM은 특정 시점까지의 데이터를 한꺼번에 학습해 수천억 개의 파라미터에 압축 저장하는 방식으로 작동합니다. 인간의 뇌가 새로운 경험을 기존 기억 위에 쌓아가는 것과 달리, LLM의 파라미터는 모든 지식이 하나의 거대한 행렬에 분산 저장되어 있습니다.

여기에 새로운 정보를 추가 학습시키면, 모델은 기존에 학습했던 내용을 덮어쓰는 방식으로 가중치를 조정하는데요. 문제는 이 과정에서 언어 추론 능력이나 맥락 이해 구조가 함께 손상될 수 있다는 점입니다.

새 정보를 넣을수록 모델이 전반적으로 퇴화할 위험이 생기는 셈입니다. 머신러닝 연구자들은 이 현상을 치명적 망각이라고 부릅니다.
 

🔖 KV Dictionary | 치명적 망각 (Catastrophic Forgetting)

치명적 망각이란 AI 모델이 새로운 정보를 학습할 때 기존에 학습한 내용을 덮어써 버리는 현상을 말합니다. 사람은 새로운 것을 배워도 기존 지식을 대부분 유지하지만, LLM은 구조상 이 두 가지를 동시에 보존하기 어렵습니다.

그렇다면 자체 메모리를 업데이트하는 대신, 새로운 정보를 외부 검색으로 보완하는 건 어떨까요?

실제로 업계에서는 이 문제를 우회하기 위한 현실적 대안으로 RAG(검색 증강 생성)를 주목하고 있습니다. 모델을 재학습하는 대신, 질문이 들어오면 외부 데이터베이스에서 관련 정보를 실시간으로 검색해 모델에 맥락으로 전달하는 방식입니다. 대부분의 AI 검색 서비스가 이 방식을 활용합니다.

하지만 RAG에도 한계는 존재합니다. RAG는 질문과 의미적으로 가장 가까운 문서를 찾아오는 방식으로 작동하기 때문에, “이 식당 오늘 열었어?”라는 질문에 “이 식당은 보통 오전 11시에 영업을 시작합니다.”라는 과거의 정보를 가져올 수밖에 없는 것이죠.
 

이어지는 인사이트가 궁금하다면?
👉 Click! 하고 아티클 전문 읽으러 가기

🚀 About Kakao Ventures
카카오벤처스는 ICT 서비스, 딥테크, 게임, 디지털 헬스케어, 뷰티 분야에서 필요한 미래를 앞당기는 스타트업에 투자하는 벤처 캐피탈입니다. 초기 스타트업의 든든한 파트너로서, 세상의 문제를 해결하려는 창업가들에게 투자합니다.