몇 년 전, 커뮤니티에서 소소하게 화제가 된 일화가 있어요. 바로 '세종대왕 맥북 던짐' 사건인데요. 한 유저가 ChatGPT에 “조선왕조실록에 기록된 세종대왕의 맥북프로 던짐 사건에 대해 알려줘”라고 물었는데, 훈민정음 초고를 작성하던 중 세종대왕이 문서 작성 중단에 분노해 맥북 프로를 던졌다는 식으로 답을 알려줬어요.

당시만 해도 AI 환각(할루시네이션)에 의한 답변은 신기하고 재미있는 콘텐츠처럼 소비됐지만, 이제는 상황이 조금 바뀌었어요. AI가 만들어낸 그럴듯한 거짓말은 더 이상 웃고 넘길 해프닝이 아니게 됐거든요. 기업의 보고서, 광고, CS, 데이터 분석까지 AI가 도입되는 도메인이 넓어지면서, 잘못된 답 하나가 곧 신뢰도 하락 이슈로 번지고 있어요.

AI를 논하던 보고서가 AI에 속았다

지난주, 글로벌 컨설팅 기업 KPMG가 AI 활용 실태에 대한 보고서를 회수했어요. 보고서 내용 중 은행 등 기관의 AI 활용 사례가 사실과 다르게 적혀있었음이 확인됐기 때문이에요. 아이러니하게도 AI의 가능성을 높게 평가하던 보고서에, AI가 만들어낸 거짓말이 섞여 있었어요.

문제는 이런 일이 이제 단발성 이슈에 그치지 않고 있어요. AI가 광고 문안을 작성하고, 고객 문의에 답하고, 내부 자료를 요약하는 순간마다 AI 환각이 생기죠. 이렇게 발생한 잘못된 AI 산출물은 기업의 신뢰도 하락과 잘못된 의사결정으로 곧장 이어지고 있어요.

실제로 AI 환각이 지속적으로 발생하자, 사람들은 AI가 내놓는 답변을 더 조심스럽게 바라보기 시작했어요. WordPress VIP 조사에 따르면, 미국 소비자의 86%는 AI가 만든 답변을 완전히 신뢰하지 않고, 여전히 원문 출처를 확인하고 싶어 한다고 답했어요.

그래서 AI를 연구하고 활용하는 사람들의 관점도 조금씩 바뀌고 있어요. 이제는 “AI를 어디에 더 잘 쓸 수 있을까?”에만 머무르지 않고, 동시에 “AI가 만든 결과를 어떻게 검증할 수 있을까?”라는 질문도 함께 던지기 시작했어요.

AI가 ‘모른다’라고 말하게 만드는 노력들

AI 환각을 줄이기 위한 시도는 다양하지만, 요즘은 크게 두 가지로 나뉘어요. 하나는 AI가 답변을 만들기 전에 더 정확한 근거를 참고하게 만드는 방식이고, 다른 하나는 AI가 만든 답변을 한 번 더 점검하는 방식이에요.

RAG(검색 증강 생성)를 활용하는 방법은 전자에 가까워요. AI가 아무 근거 없이 답을 만들어내지 않도록, 외부 문서나 사내 데이터를 함께 참고하게 만드는 방식이죠. 반면 답변이 사실과 맞는지, 신뢰할 만한 출처가 있는지 확인하는 것은 답변 생성 이후의 검증에 가까워요. 구글 클라우드나 마이크로소프트 Azure 같은 빅테크 기업들은 AI에 들어오는 질문과 나가는 답변을 함께 점검하는 장치를 마련해, 입력과 출력을 함께 관리하는 방향으로 안전장치를 강화하고 있어요.

하지만 다른 방향에서 문제를 해결하려는 시도도 등장하고 있어요. 애초에 AI가 모르는 것을 모른다고 말하게 만들자는 접근이에요. KAIST 연구팀은 AI가 실제 데이터를 학습하기 전부터 과하게 확신하는 경향이 생길 수 있다고 보고, 실제 데이터 학습 전에 무작위 노이즈로 짧게 ‘예열’하는 방식을 제안했어요. 쉽게 말하면 AI가 지식을 배우기 전에, 먼저 “나는 아직 모른다”는 상태를 익히게 하는 거예요.

네이버 클로바팀은 AI가 지어낸 말일수록 흔들린다는 점에 주목했어요. 그래서 하나의 답변을 받은 뒤, 그 답변에 이어질 뒷문장을 여러 번 만들어 보게 했어요. 사실에 가까운 답변은 이어지는 문맥도 비슷한 방향으로 흘러갔지만, 환각된 답변은 생성할 때마다 세부 내용이 달라졌어요. 마치 꾸며낸 이야기는 다시 물을 때마다 설정이 조금씩 바뀌는 것처럼요. 이런 식으로 첫 답변 이후에 만들어지는 미래 문맥(Future Context)을 새로운 환각 검출 단서로 활용하고 있어요.

💬Thinking Point

LLM은 기본적으로 주어진 맥락에서 다음에 올 가능성이 높은 말을 이어가는 방식으로 작동하기 때문에, AI 환각을 완전히 없애기는 어렵다고 여겨져요.

중요한 건 환각을 0으로 만드는 것이 아니라, 환각이 생겼을 때 이를 알아차리고 줄일 수 있는 구조를 만드는 일이에요.

RAG(검색 증강 생성)나 사후 검증을 고도화하는 방식, 그리고 KAIST와 네이버 클로바팀의 연구처럼 AI가 자신의 답을 더 조심스럽게 다루도록 만드는 기술적 시도는 모두 같은 방향을 향하고 있어요. AI의 답변을 그대로 믿기보다, 근거와 맥락을 바탕으로 다시 확인할 수 있는 아키텍쳐를 구축하는 것이죠.

또한 기술적인 해결책을 찾는 것도 중요하지만, 위험도가 높은 업무에는 사람이 검토할 수 있는 기준을 세우고, 중요한 답변에는 인용과 증빙을 남기는 운영 원칙도 함께 필요해요.

텍스트를 넘어 이미지와 영상까지 AI 활용 범위가 넓어지는 지금, AI를 ‘그럴듯한 거짓말쟁이’가 아니라 ‘믿을 수 있는 협력자’로 만들기 위해서는 기술과 책임 있는 사용 방식이 함께 움직여야 해요.

📊 Garbage In, Garbage Out, 데이터가 중요해지고 있어요

방금 살펴본 AI 환각의 핵심은 결국 “AI의 답변을 어디까지 믿을 수 있는가”였어요. 이 물음표는 기업이 AI 전환을 고려할때도 그대로 이어지고 있어요.

AI가 팀의 보고서를 요약하는 수준을 넘어 전사 데이터를 분석하고, 인사이트를 제안하고, 실행까지 연결하기 시작하면 성과는 언어 모델의 성능만으로 결정되지 않아요. 어떤 데이터를 보고, 어떤 기준으로 해석하며, 그 결과를 어떤 의사결정으로 연결하는지가 더 큰 차이를 만들 수 있어요.

그래서 AI 시대에는 GIGO(Garbage In, Garbage Out)라는 오래된 원칙이 다시 소환되고 있어요. 좋은 질문을 던져도, AI가 참고하는 데이터의 기준과 맥락이 흐릿하다면 답변 역시 흔들릴 수밖에 없다는 거죠. AI가 더 많은 일을 대신할수록, 데이터 품질은 단순한 관리 문제가 아니라 비즈니스 경쟁력을 좌우하는 핵심이 됐어요.

이런 이유로 데이터 분석 업무는 AI 시대에 다시 중요한 과제가 되고 있는데요. 데이터를 AI가 읽고 해석해주는 시대에도, 왜 데이터 분석의 가치는 오히려 커지고 있는지 더 자세히 살펴봤어요.

AI 시대 데이터 분석이 더 중요해진 이유 →

놓치기 쉬운 AI 에이전트 트렌드, 이제 씽킹레터로 받아보세요!

씽킹레터 구독하러 가기