[2025년 9월 9일 먀 AI 뉴스레터로 발행한 글입니다.]

Deepseek(중국산 LLM)에 알파벳 D가 총 몇 개 들어갈까요?

정답은 '하나'입니다.

챗GPT를 비롯한 챗봇형 LLM이 날이 갈수록 똑똑해지고 있습니다. 2023년에 이미 GPT-4는 미국 변호사 시험도 통과했다는 기사가 나왔는데요. 그렇다면 위와 같은 질문은 손쉽게 풀 수 있겠지요?

하지만 놀랍게도, 이름의 주인공인 딥시크는 열 번의 시도에서 모두 2개, 혹은 3개라고 답했습니다. 메타 AI와 앤트로픽의 클로드 3.7 소넷도 별반 차이가 없었습니다. 여러 번 질문하자, 7개라고 말한 기록도 있습니다. 알파벳을 구별할 줄 안다면 어린이도 풀 법한 문제를, 변호사 시험까지 통과한 LLM은 왜 틀릴까요? 또, 모르면 모른다고 말하면 안되는 걸까요? 🤨