“처음엔 AI가 사람 일을 줄여줄 줄 알았어요. 지금은 사람이 AI 뒤치다꺼리하는 일을 새로 하고 있습니다.”

“임원은 ‘전사 AI’를 샀다고 생각하는데, 개발팀은 매일 예외처리하고 있습니다. 둘이 같은 프로젝트를 보고 있는 게 맞나 싶어요.”

“현업이 ‘이건 상식적으로 알잖아요’라고 하는 순간 제일 무섭습니다. 그 상식이 문서에도 없고 DB에도 없고, 그 사람 머릿속에만 있거든요.”

“시스템이 틀린 답을 냈는데 원인을 못 찾겠어요. 프롬프트인지, 검색인지, 문서인지, 권한인지, 모델인지, 전날 누가 올린 파일인지… 전부 의심해야 합니다.”

“그냥 버그면 행복하죠. 재현이 되니까요. 얘는 어제 되고 오늘 안 됩니다.”

“QA에서 통과했는데 운영에서 깨지고, 운영에서 고치면 다른 부서에서 깨지고, 그걸 고치면 처음 부서에서 또 달라집니다.”

“결국 테스트 케이스를 늘리는데, 테스트 케이스가 늘수록 우리가 AI를 만든 건지 규칙 엔진을 만든 건지 모르겠습니다.”

“자율 에이전트 만든다고 시작했는데 지금은 

이 행동은 금지, 저 행동은 승인, 이 경우는 사람 호출만 수백 개입니다.”

“AI가 판단하게 하자고 했는데, 판단 기준을 사람이 전부 써줘야 하더라고요.”

“그 판단 기준을 써달라고 현업에 요청했더니 ‘케이스 바이 케이스죠’랍니다.”

“컨설팅 문서에는 업무 프로세스가 네모 박스 여덟 개였습니다. 실제 현업 만나보니까 박스 하나마다 예외가 40개씩 있었습니다.”

“프로세스 맵에는 화살표가 한 방향인데 실제 회사에서는 전화 한 통으로 다 뒤집힙니다.”

“우리가 자동화하려는 업무가 애초에 표준화돼 있지 않았어요. 사람들은 사람이라서 대충 알아서 맞춰온 겁니다.”

“그걸 AI한테 시키는 순간 그동안 사람이 조용히 흡수하던 혼란이 전부 시스템 오류로 튀어나옵니다.”

“AI가 회사를 망가뜨린 게 아니라,
 AI를 넣고 나서야 회사가 얼마나 임기응변으로 돌아가고 있었는지 보이기 시작했습니다.”

“6개월 전에 인원 30% 줄일 수 있다고 보고했는데, 지금 와서 ‘생각보다 어렵습니다’라고 누가 말합니까. 그러니까 성공한 척할 수 있는 기능부터 찾는 거죠.”

“그래서 대시보드에는 사용량이 올라가고, 내부에서는 아무도 중요한 업무에 안 씁니다.”

“ROI 보고하래서 토큰 수, 사용자 수, 생성 문서 수는 계속 올라갑니다. 근데 회사가 더 잘 판단하게 됐는지는 아무도 모릅니다.”

“실패했다고 하면 프로젝트가 죽으니까 ‘PoC 성공’이라고 합니다. 그리고 운영 전환은 다음 분기로 넘깁니다.”

“그다음 분기 담당자는 바뀝니다.”

“전사 AI 한다고 1년을 보냈는데,

 지금 제일 안정적으로 돌아가는 건 회의록 요약입니다.”

“그래도 그거라도 성공 사례라고 써야죠.”

“위에서는 ‘AI가 알아서 하게 해’라고 하는데, 사고 나면 왜 알아서 했냐고 우리한테 물어봅니다.”

“데모 때는 천재예요. 운영 붙이면 신입사원보다 손이 더 많이 가요.”

“문서 검색 하나 제대로 만들려고 했는데, 회사 문서가 어디 있는지부터 아무도 몰라요.”

“RAG 성능 튜닝하는 시간보다 ‘이 파일이 최신본 맞습니까?’ 물어보는 시간이 더 깁니다.”

“현업이 자기 업무를 설명 못 해요. 그냥 10년 동안 몸으로 한 거예요. 근데 우리는 그걸 API 명세로 달래요.”

“AI가 맥락을 못 알아듣는다고 욕했는데, 회의하다 보니까 사람들끼리도 같은 업무를 서로 다르게 이해하고 있더라고요.”

“임원은 전사 에이전트를 원하고, 보안팀은 아무것도 못 하게 하고, 법무팀은 틀리면 안 된다고 하고, 현업은 빨라야 한대요. 그래서 결국 아무것도 못 합니다.”

“에이전트가 똑똑해질수록 무서워요. 뭘 할지 모르니까요. 결국 우리가 하나하나 못 하게 막습니다.”

“그래서 몇 달 지나면 AI 자율성 프로젝트가 승인 버튼 14개짜리 워크플로가 됩니다.”

“‘사람 없이 돌아가는 시스템’ 만들자고 시작했는데, 사람 세 명이 하루 종일 AI 결과 검수하고 있어요.”

“인원 감축한다고 AI 넣었는데 검수 조직이 새로 생겼습니다.”

“모델 바꾸면 해결될 줄 알았어요. GPT 바꾸고, Claude 바꾸고, Gemini 바꾸고, 작은 모델도 써봤는데 이상하게 문제는 계속 남아요.”

“그때부터 느낌이 와요. 아, 모델 문제가 아니었구나.”

“근데 그걸 인정하면 지금까지 프로젝트 방향이 틀렸다는 얘기니까 또 새 모델을 찾아요.”

“처음엔 ‘전사 지능화’였어요. 6개월 뒤 목표가 ‘메일 제목 자동 생성’으로 바뀌었습니다.”

“근데 메일 제목 자동 생성은 잘돼요. 그래서 성공 사례가 됩니다.”

“데모는 진짜 잘 나왔어요. 임원들 앞에서 돌릴 때는 다들 손뼉 쳤죠. 근데 실제 부서 데이터 붙이는 순간부터 다 깨져요. 문서 버전 다르고, 권한 다르고, 예외 케이스 나오고… 모델이 문제가 아니라 회사가 원래 이렇게 엉켜 있었던 거예요.”

“RAG 붙이면 된다고 해서 붙였고, 그래프도 해보고, 리랭커도 넣고, 프롬프트도 계속 바꿨어요. 근데 어느 순간부터 내가 AI를 만드는 건지 회사 문서 정리하는 건지 모르겠더라고요.”

“현업한테 요구사항 달라고 하면 자기들도 뭘 원하는지 몰라요. 그래서 우리가 만들어주면 ‘이건 아닌데요’ 하고, 다시 고치면 또 다른 사람이 와서 ‘원래 업무는 이렇게 안 하는데요’ 해요. 결국 시스템보다 사람 머릿속에 있는 맥락이 더 큰 문제예요.”

“윗분들은 ‘AI면 알아서 해야 되는 거 아니야?’라고 하고, 우리는 ‘어디까지 알아서 하게 할 건데요?’라고 묻는 상황이에요. 책임은 개발팀이 지는데 자율성은 최대한 주래요. 이게 제일 미칩니다.”

“에이전트 열 개, 백 개 얘기하는데 하나만 잘못 움직여도 사고 나요. 그래서 프로덕션 들어가면 결국 권한 줄이고, 행동 범위 줄이고, 승인 단계 넣고… 다 넣고 나면 ‘이게 에이전트 맞나?’ 싶죠.”

“처음엔 전사 AI 한다고 시작했는데 몇 달 지나면 회의록 요약, 메일 분류, 문서 검색 같은 걸 하고 있어요. 웃긴데 그게 제일 잘 돌아가거든요. 최소한 거짓말해도 회사가 망하진 않으니까.”

“솔직히 우리도 정답 몰라요. 컨설턴트도 모르고, 벤더도 모르고, 우리도 모릅니다. 근데 납기는 있어요. 그러니까 일단 이메일 자동화부터 합시다.”

“우리가 AI를 통제하려고 했는데, 하다 보니 회사가 원래 통제되고 있지 않았다는 걸 발견했습니다.”