PM이 알아야 할 AI 코딩 도구의 구조와 진화 경로

도구를 쓰는 것과 도구에 끌려다니는 것

PM이 LLM의 작동 원리를 알아야 하는가. 몰라도 쓸 수는 있다. 그런데 모르면 계속 같은 실수를 반복한다. 왜 AI가 갑자기 앞 대화를 잊는지, 왜 그럴듯한 거짓말을 하는지, 왜 에이전트는 LLM과 다른지. 이 질문들에 답하지 못하면 도구를 쓰는 게 아니라 도구에 끌려다니는 것이다. 구조를 알면 실수가 줄고, 실수가 줄면 속도가 붙는다.

LLM은 어떻게 작동하는가

LLM(Large Language Model)의 정의는 단순하다. 인터넷의 방대한 텍스트를 학습해서 "다음에 올 가장 자연스러운 단어"를 확률적으로 예측하는 모델이다. 번역, 요약, 코드 작성, 추론이 모두 이 하나의 원리에서 나온다. 지식을 저장한 게 아니라 패턴을 학습한 것이다. 이 차이가 할루시네이션을 이해하는 핵심이다.

작동 흐름은 네 단계다. 첫 번째는 '토큰화'다. AI는 텍스트를 그대로 읽지 않는다. 먼저 의미 단위 조각인 '토큰'으로 쪼개고, 각 토큰을 고유한 숫자 ID로 변환한다. 그 숫자가 다시 수백 차원의 벡터로 바뀌어야 모델이 처리할 수 있다. 영어는 평균 4글자 단위, 한국어는 음절 단위로 더 잘게 쪼개진다. 같은 내용이어도 한국어가 토큰을 더 많이 소모하는 이유가 이것이다.