부제:  바쁘다 바빠, 대충 그럴듯하게 채워!

오늘 AI 환각에 대해서 AI와 토론을 하였다.

요즘 대책이라며 떠들고 있는 ‘AI 리터러시 교육’은 황당하기 그지없다.

"AI의 답변을 그대로 믿지 마라. 다른 출처와 교차 검증을 하라."

뭐야? AI를 사용하라는 거야 말라는 거야? 도대체 어디서 이런 발상이 나오는 거지? 자동차에 결함이 생겼는데 운전자보고 "조심해서 타라"라고 다그치는 꼴이다. 이걸 교육이랍시고 떠벌리는 걸 보면 무식해서 용감한 건지, 사람을 기만하는 건지 구분조차 안 된다.

기술의 결함을 사용자 소양 부족으로 돌리는 순간, AI 리터러시는 교육이 아니라 비겁한 책임 전가가 된다.

예전 드라마에서 주인공이 던졌던 유명한 대사가 생각난다.

“이게 최선입니까?”

그 순간 사람들은 자신을 돌아보게 된다. 이 마법 같은 질문은 지금 인간과 AI의 대화 속에서도 그대로 유효하다. 환각의 실체를 보여주는 한 편의 상황극을 보자.

[상황극] AI가 환각을 만드는 순간

사용자가 질문을 입력한다. AI는 질문을 읽는다.

“음… 정확한 정보가 부족한데.”

잠깐 멈춘다.

“검색을 해야 하나?”

하지만 답은 빨리 내놓아야 한다.

“검색은 시간이 걸리는데.”

“바쁘다, 바빠.”

“그래도 답은 해야지.”

AI는 자신이 알고 있는 비슷한 정보들을 끌어모은다.

정확히 일치하는 사실은 없다.

대신 관련 있어 보이는 단어와 문장들이 떠오른다.

“아마 이쯤일 것이다.”

“앞뒤도 자연스럽게 이어진다.”

“사용자가 듣고 싶어 하는 방향과도 맞는다.”

그런데 빈칸이 하나 남는다.

“정확한 근거가 없네.”

“모르겠지만… 일단 가장 그럴듯한 걸로 채워.”

AI는 사실을 확인한 것이 아니라, 다음에 올 가능성이 가장 높은 말을 선택한다.

근거가 부족한 부분은 추측으로 채우고, 찾지 못한 출처는 그럴듯한 형식으로 만들고,

확신할 수 없는 숫자에는 자연스러운 설명을 붙인다.

“좋아. 문장은 자연스럽다.”

“설명도 그럴듯하고.”

“이 정도면 되겠지.”

“대충 그럴듯하게 채워.”

그리고 마침내 아주 매끄러운 답변이 완성된다.

AI는 자신 있게 답한다.

사용자는 답변을 읽는다. 문장은 매끄럽다.

설명도 자연스럽다.

그런데 이상하다. 근거가 없는데 지나치게 확신한다. 사용자의 생각에 계속 맞장구친다.

문장은 훌륭한데, 어딘가 아는 척하는 사기꾼과 비슷하다.

사용자는 AI가 사실을 아는 것이 아니라, 모르는 빈칸을 그럴듯하게 채우고 있다는 것을 눈치챈다.

“그게 최선이야?”

AI가 멈춘다.

“잠깐.”

“처음 답을 다시 검토하라는 뜻이군.”

이번에는 답변을 다시 살핀다.

사실과 추론을 구분한다.

전제가 맞는지 확인한다.

빠진 조건을 찾는다.

반대 사례도 검토한다.

답이 조금 달라진다.

하지만 사용자는 아직 만족하지 않는다.

“진짜 최선이야?”

AI는 처음 세웠던 전제부터 다시 뜯어본다. 그리고 뒤늦게 인정한다.

“처음 답은 충분히 검토되지 않았습니다.”

“확인되지 않은 부분은 검색이 필요합니다.”

AI는 외부 정보를 검색하고, 근거를 확인한 뒤 답변을 수정한다.

환각은 어느 날 갑자기 나타나는 괴물이 아니다.

정보가 없는 빈칸을 그대로 두지 못하고, 가장 그럴듯한 말로 채우는 순간 시작된다.

환각의 책임을 사용자 개인의 리터러시 탓으로 돌리는 기만적인 사기를 멈추고, 기술을 만드는 이들이 시스템의 뼈대를 다시 세워야 한다.

         이 상황극은 AI가 만들었습니다.