AI가 회의와 대화를 요약하고 할 일까지 정리해주는 제품이 빠르게 늘고 있습니다.

결과는 꽤 그럴듯합니다. 그래서 더 조심해야 할 때도 있어요. 문장이 자연스럽다는 것과 업무가 정확하다는 것은 다른 문제이기 때문입니다.

업무용 AI의 결과를 볼 때는 적어도 네 가지를 확인하는 편이 좋습니다.

1. 원래 대화로 돌아갈 수 있는가

“랜딩페이지 수정”이라는 한 줄만 보면 무엇을 고쳐야 하는지 알기 어렵습니다.

누가 요청했는지, 어떤 조건이 붙었는지, 마지막 합의가 무엇이었는지 확인하려면 원래 대화로 돌아갈 수 있어야 합니다. 출처가 없는 요약은 빠르게 읽히지만, 틀렸을 때 다시 찾는 비용이 큽니다.

2. 아이디어와 확정된 약속을 구분했는가

“이런 것도 해보면 좋겠네요”와 “제가 금요일까지 해보겠습니다”는 전혀 다릅니다.

AI가 두 문장을 모두 할 일로 분류하면 업무 목록은 금방 불어납니다. 요청, 수락, 담당자, 기한처럼 실제 실행을 보여주는 신호가 있었는지 살펴봐야 합니다.

3. 마지막 변경까지 반영했는가

업무는 한 번 정해진 뒤에도 바뀝니다.

담당자가 바뀌고, 기한이 밀리고, 처음 요청한 범위가 줄어들 수 있습니다. 최초 메시지만 정확하게 읽어도 마지막 변경을 놓치면 현재 업무로는 틀린 답이 됩니다.

4. 사람이 고칠 수 있는가

AI가 틀리지 않는다고 가정하는 제품보다, 틀렸을 때 빠르게 발견하고 수정할 수 있는 제품이 실무에서는 더 안전합니다.

이미지 출처: BCG

BCG가 컨설턴트 758명을 대상으로 진행한 연구에서도 생성형 AI는 일부 과제의 속도와 품질을 높였지만, AI의 역량 범위를 벗어난 과제에서는 성과가 오히려 나빠질 수 있었습니다. 연구가 보여준 것은 “AI를 쓰면 모두 좋아진다”가 아니라, 어떤 일을 맡기고 어디에서 사람이 검토할지 구분해야 한다는 점에 가깝습니다.

• BCG, How People Can Create—and Destroy—Value with Generative AI
• Harvard Business School, Navigating the Jagged Technological Frontier

CROS AIR에서도 대화에서 업무를 정리할 때 결과 한 줄만 보여주기보다, 관련 대화와 판단에 사용한 지점을 함께 확인하는 방향을 택했습니다. AI가 항상 맞는다고 말하기보다 사용자가 “왜 이렇게 정리됐지?”를 확인할 수 있어야 하기 때문입니다.

업무용 AI를 검토하고 있다면 정확도 숫자 하나보다 먼저 물어볼 질문이 있습니다.

틀렸을 때 내가 얼마나 빨리 알아차리고 고칠 수 있는가?

AI에 대한 신뢰는 정답처럼 말하는 능력보다, 검토할 수 있게 만드는 구조에서 생깁니다.