튜링상 수상자이자 메타 수석 AI 과학자 얀 르쿤, "현재 LLM은 집고양이보다 못하며 3-5년 내 구식 기술로 전락할 것" - 월드 모델이 답이라 주장

챗GPT가 세상을 바꾼 지 불과 2년. 그런데 AI계의 전설이 "이건 전부 헛짓거리"라고 선언했다.

오픈AI, 구글, MS가 천문학적 자본을 쏟아붓는 LLM 매개변수 경쟁. 그 한복판에서 "완벽히 실패한 접근"이라는 폭탄 발언. 르쿤의 주장이 맞다면 우리는 지금 역사상 가장 값비싼 막다른 골목을 달리는 중일 수도.

더 흥미로운 건, 그가 대안까지 제시했다는 점. 월드 모델(World Model)이라는 완전히 다른 패러다임. 10대 운전자가 자율주행 AI를 압도하는 이유, 4세 아이가 400년치 텍스트보다 똑똑한 비밀. 그 답이 여기 있다.

1. 🚨 르쿤의 핵심 주장: LLM은 근본적 결함

5년 시한부 선언의 배경 • 2025년 10월 27일 서울 AI 프론티어 심포지엄에서 폭탄 발언 • "현재 챗GPT 같은 LLM은 5년 안에 쓸모없어질 것" 단언 • "AI를 인간 수준으로 발전시키려면 LLM이 할 수 없는 것 연구해야" • 생성형 AI 혁명의 심장부를 정면 겨냥한 사망 선고

현재 AI 아키텍처의 치명적 약점 • 물리적 세계 이해 능력: 집고양이만도 못한 수준 • 복잡한 행동 순서 처리 불가능 • 긴 논리 연쇄 추론 능력 전무 • 제어 가능성과 안전성 본질적 결여 • "형편없다(suck)"는 직설적 표현 사용

2. 🧠 모라벡의 역설: AI의 뒤집힌 지능 구조

쉬운 것이 어렵고, 어려운 것이 쉽다 • 변호사 시험, 복잡한 수학 문제: AI에게 간단 • 방 안 돌아다니기, 컵 집기: AI에게 극도로 어려움 • 인간 갓난아기는 쉽게 하는 일을 최첨단 AI는 못함

LLM의 근본적 한계 • 기초적 물리적 능력 없이 고차원 상징(언어)만 학습 • 지능의 환상만 만들어낼 뿐, 진정한 이해 부재 • 프롬프트 미세 변화에 완전히 다른 답 제시 • 개념적 이해 자체가 존재하지 않음

3. 🔄 자동회귀의 구조적 천장: 반응적 앵무새

LLM의 작동 원리와 한계 • 다음에 올 가장 확률 높은 단어 예측하는 기계 • 본질적으로 '반응적'이며 시스템 1(직관적, 빠른 사고)에 해당 • 시스템 2(숙고적 추론, 계획, 오류 수정) 원천 불가능

토큰당 고정 연산의 치명적 제약 • 복잡한 사고 수행에 구조적 한계 • 하나의 토큰 오류가 전체 생성 과정 탈선 • 출력 길이 증가 시 정확도 기하급수적 감소 • 긴 추론 사슬 필요한 작업에서 근본적 신뢰 불가

통계적 패턴 매칭의 한계 • 언어적 유창성으로 지능 환상 생성 • 흔들리지 않는 개념적 이해 부재 • 자동회귀 아키텍처는 "가망 없다(doomed)"

4. 📊 데이터 대역폭의 불균형: 텍스트 vs 감각

LLM의 학습 데이터 • 약 10^14 바이트의 텍스트로 학습 • 한 사람이 40만-50만년 읽어야 하는 방대한 양 • 그러나 '저대역폭 신호' - 이산적, 상징적 표현

4세 아이의 학습 능력 • 깨어있는 약 16,000시간 동안 시각 정보 처리 • 비슷한 10^14 바이트의 정보 처리 • 고대역폭 스트림: 시각, 청각, 촉각 등 연속적 감각 데이터

결론적 차이 • "LLM은 텍스트만으로 결코 인간 수준 지능 도달 불가" • 방대한 텍스트 라이브러리에 해박하지만 실제 세계 경험 전무 • 첨단 스콜라 철학의 한계: 직접 경험 없는 지식 • 지능은 물리적 세계 상호작용 통해 형성되는 체화된 능력

5. 🌍 월드 모델: 차세대 AI의 핵심

월드 모델의 개념 • AI가 현실 작동 원리 이해해 미래 상황 예측 • 실제 환경의 움직임, 물리 법칙, 인과관계 학습 • 행동과 결과 예측하는 내재된 환경 시뮬레이션

LLM과의 본질적 차이 • LLM: 텍스트 학습해 다음 문장 생성 • 월드 모델: 환경 동역학 이해, what-if 시나리오 실행 • 통계적 상관관계 아닌 인과관계 기반 추론 • 시스템 1 한계 해결하는 시스템 2 구현체

10대 운전자 vs AI 자율주행 • 10대: 약 20시간 연습으로 운전 습득 • AI: 수백만 시간 훈련해도 돌발 상황 대처 어려움 • 차이의 본질: 인간은 이미 세상 작동 방식의 월드 모델 보유 • 중력, 대상 영속성, 타인 의도 예측 등 물리적 상식 기반

6. 🔬 JEPA: 메타의 구체적 솔루션

JEPA(Joint-Embedding Predictive Architecture) 특징 • 생성형 AI 트렌드와 정면 배치되는 '비생성적' 접근 • 미래 비디오 프레임의 모든 픽셀 예측하지 않음 • 추상적 표현(위치, 속도, 방향 등 고수준 정보) 예측

핵심 철학의 전환 • 나뭇잎 질감, 구름 모양 같은 관련 없는 세부사항 무시 • 세계의 동역학, 핵심 물리 법칙, 인과관계에만 집중 • 지능 = 사실적 렌더링 능력 아닌 세상의 강력한 내재 모델 구축

V-JEPA2 실제 성과 • 2025년 6월 공개 • 100만 시간 이상 영상, 100만 개 이미지 사전 학습 • 표현 공간에서 미래 프레임 예측, 움직임과 객체 동역학 학습 • 직관적 물리학(intuitive physics) 습득

7. 🎭 메타의 차별화된 전략

타 빅테크와의 방향성 차이 • 오픈AI, 구글: 텍스트 데이터 확장 경쟁 • 메타: 비디오 등 감각 데이터 기반 실제 세상 이해 • R&D 전략의 명확한 차별화

스탠퍼드 최예진 교수의 동조 • "인터넷 데이터 학습은 이제 의미 없음" • "모델이 크면 클수록 좋다"는 편견의 한계 도래 • 인터넷에 없는 질적으로 다른 데이터 학습의 중요성

메타 Dino 시스템의 성공 • Dino V3: 오픈소스로 공개 • 범용 이미지 표현 추출 시스템 • 천문학, 의료 영상 등 다양한 분야 적용 • 지도학습, 약지도학습 기반 접근법 모두 능가

8. ⚠️ 논쟁의 여지: 완벽한 답은 아니다

제프리 힌튼의 반대 입장 • AI의 또 다른 대부, 르쿤과 다른 견해 • "LLM도 인간 뇌와 유사한 방식으로 개념 이해 가능" • AI 안전과 실존적 위험에 깊이 우려 • LLM 성능을 가볍게 보는 르쿤과 뚜렷한 차이

메타의 아이러니 • 르쿤: "LLM 연구 하지 말라" 주장 • 메타 FAIR 연구소: 라마(Llama) 같은 최첨단 오픈소스 LLM 계속 출시 • 현재 트렌드와 미래 비전 동시 추구 전략?

아직 불확실한 미래 • 월드 모델의 공학적 구현 방법 여전히 도전 과제 • 이론적 한계: 정보 측정의 상한선만 존재, 하한선 부재 • 모든 것이 확실하지 않은 상태

9. 📌 르쿤의 구체적 권고사항

단기 vs 장기 전략 • 산업계 종사자: 단기적으로 LLM 작업 필요 (응용 분야 존재) • 장기적 관점: 생성 모델 버리고 JEPA 아키텍처로 전환

패러다임 전환의 방향 • 확률적 모델링 중단 • 자동회귀 방식 대신 정규화된 방법 • 정보 극대화 기법 도입 • 강화학습 사용 최소화 (극도로 비효율적)

연구자들을 위한 조언 • "인간 수준 AI에 관심 있다면 LLM 연구하지 말라" • LLM이 할 수 없는 것에 집중 • 복잡한 행동 순서 처리, 긴 논리 연쇄 추론, 제어 가능성 연구

10. 🔮 향후 전망: 5년 후의 AI 풍경

르쿤의 예측 • LLM: 3-5년 내 대부분 구식 기술로 전락, 고물화 • JEPA 스타일 아키텍처: 주류로 부상 • 추론 최적화와 결합한 형태로 발전

하드웨어와 아키텍처 혁신 • 실시간 비전: 합성곱 아키텍처와 트랜스포머 결합 • 더 나은 아키텍처 탐색 지속 필요 • 메모리 용량이 새로운 병목 • 아날로그 컴퓨팅 등 이색 기술에는 회의적

한국 AI 산업에의 시사점 • 하드웨어 분야 강점 보유한 한국에 기회 • 텍스트 중심 경쟁에서 물리적 AI로의 전환기 • 로봇공학, 자율주행 등 실제 세계 응용 분야 중요성 증대

🎬 마무리: 우리는 전환점에 서 있다

얀 르쿤의 발언은 단순한 학술적 논쟁이 아니다. 수조 달러 규모 산업의 방향, 수백 개 스타트업의 생존, 수천 명 연구자의 커리어가 걸린 문제다.

그가 옳든 틀리든, 한 가지는 분명하다. AI의 다음 혁명은 더 많은 텍스트가 아니라, 세상을 진정으로 '이해'하는 능력에서 올 것이다. 10대가 20시간 만에 운전을 배우고, 4세 아이가 중력을 직관적으로 아는 그 비밀. 그것이 진짜 지능의 열쇠다.

LLM 시대의 막이 내리고 있는지, 아니면 이제 막 시작인지. 앞으로 3-5년이 답을 줄 것이다.

💡오랜만에 접하는 흥미있는 주장. AI분야에서 뒷북만 치지말고 새로운 시각으로도 접근해보자.

출처: Global AI Frontiers Symposium 2025, Seoul - Yann LeCun 기조연설