많은 기업은 AI를 하나의 “구축 프로젝트”로 접근합니다. 모델을 붙이고 워크플로우를 연결하면 곧 안정적으로 돌아갈 것이라 기대합니다. 그러나 AI를 실제 업무에 투입하는 순간, 예외와 오류는 필연적으로 발생합니다. 결론부터 살피면 실패하지 않는 AI는 처음부터 완벽하게 구축되는 것이 아니라, 실패를 관리하면서 점진적으로 만들어지는 시스템입니다.

현장에서 국내 기업을 만나보면, 크게 두 부류로 나뉘는 것 같습니다. 먼저, AI를 어디에 어떻게 써야 할지 전혀 감이 없는 기업과 이미 여러 AI 툴을 붙여 나름의 워크플로우를 만든 기업입니다.

독특한 건 대부분 후자 또한 초기 데모에서 만족하더라도 운영 환경에서 사용해보면 불안과 답답함을 종종 느끼는 겁니다. 아마, 실제로 데모에서는 분명히 잘 작동했는데 어느 순간 에이전트가 멈춰있거나, 생각보다 잘못된 판단을 많이 하기 때문일 겁니다. 그래서, “10번 중에 2-3번은 꼭 실패하더라. 이상한 판단을 하더라” 라는 피드백도 듣습니다. 그럴때마다 저는 “물론 AI가 빠르게 변하지만 우리의 워크플로우는 변하지 않습니다. 모델은 변화에 맞게 바꾸면 되기 때문에 우선 어떤 실패와 위험이 있는지 계속 살펴야 합니다”라고 열심히 설득하고 있습니다. 그래서 오늘은 AI의 실패와 위험을 어떤 마인드로 관리해야 하는지를 간단하게 나눠보고 싶습니다.