이 글은 [이현의 Human AX]에서 발행되었습니다.

AX 실전 벤치마크 사례, 퀄리티 있는 AI 인사이트를 
매주 이메일로 받아보고 싶으시다면, 뉴스레터를 구독해 주세요.

[구독하러 가기]

(선착순)무료 라이브 신청 바로가기

최근 EO에서 이런 유튜브 영상 하나를 올렸습니다.

너무 공감이 가서 바로 클릭해 봤어요. Gumloop이라는 AI 자동화 스타트업의 창업자 Max Brodeur-Urbas의 인터뷰였습니다. 그가 영상에서 한 말이 머리를 세게 때린 듯한 충격을 주었습니다.

"50개의 AI 에이전트를 돌리며 회사를 운영하는 건, 슬롯머신을 만드는 것과 같습니다."

AI 에이전트를 많이 만들수록 회사가 자동화되고, 사람의 일은 줄어들 것처럼 보입니다. 하지만 실제로 에이전트가 많아지기 시작하면 전혀 다른 문제가 생깁니다.

어떤 업무에 어떤 에이전트를 사용해야 하는지 기억해야 하고, 각각의 에이전트에 필요한 정보를 다시 입력해야 하며, 결과가 제대로 나왔는지 사람이 확인해야 합니다. 에이전트가 실패했을 때는 무엇이 잘못됐는지 찾아 다시 실행해야 하죠.

자동화를 위해 만든 도구인데, 어느 순간부터는 사람이 에이전트를 관리하기 위해 더 많은 신경을 쓰게 됩니다.

버튼을 누를 때마다 원하는 결과가 나올지 알 수 없고, 여러 번 시도해야 겨우 쓸 만한 결과를 얻는 구조라면 그것은 자동화 시스템이라기보다 정말 ‘슬롯머신’에 가까울지도 모릅니다.

저는 이 이야기가 낯설지 않았습니다. 여러 조직의 현장을 돌아보며 비슷한 장면을 반복해서 목격했기 때문입니다. AI 도구를 열심히 만들어 배포했지만, 정작 현업에서는 거의 사용하지 않는 현상이었습니다.

저 역시 불과 한두 달 전, 제안서 작성을 지원하는 AI 에이전트를 만들어 현업에 배포했다가 똑같은 함정에 빠진 적이 있습니다.

에이전트의 결과물은 나쁘지 않았습니다. 잘 활용하면 제안서 초안을 작성하는 시간을 분명히 줄일 수 있었고, 반복적으로 들어가는 회사 소개나 사업 배경도 빠르게 정리할 수 있었습니다.

그런데 시간이 지나면서 이상한 일이 벌어졌습니다.

처음에는 사람들이 신기해하며 한두 번 사용했지만, 바쁜 업무가 시작되자 점점 사용 빈도가 줄었습니다. 나중에는 제가 먼저 “이번 제안서 작성할 때 그 에이전트 써보셨어요?”라고 물어봐야 다시 사용하는 상황이 됐습니다.

도구는 살아 있었지만, 업무 안에서는 이미 죽어 있었던 셈입니다.

그 경험 이후 저는 이런 질문을 던지기 시작했습니다.

왜 꽤 잘 만든 AI 도구도 현업에 정착하지 못할까?

오늘은 그 이야기를 해보려고 합니다.

에이전트를 몇 개 만들었느냐보다 AI를 기존 업무의 흐름 안에 어떻게 자연스럽게 배치하느냐가 왜 훨씬 더 중요한지, 그리고 이런 시행착오를 거치며 제가 현재 실험 중인 Slack 기반 팀 전용 AI 동료 ‘Hermes’를 높이 평가하게 된 이유를 나눠보겠습니다.

기억해서 꺼내 써야 하는 AI는 이미 죽은 AI입니다

저도 이전에 제안서 작성 에이전트를 만들고 이걸 현업을 대상으로 배포했을 때 느낀 것이었는데, 에이전트의 품질과 상관 없이 현업에게 쓰이게 만드는 것은 또다른 차원이었습니다.

흥미로운 건, 이게 대부분 도구의 품질 문제가 아니라는 겁니다. 꽤 잘 만든 에이전트더라도 그 기준이 현업에 있지 않으면 아무 흔적 없이 사라질 수 있어요. 이유는 대부분 단 하나였습니다.

현업이 기억해서 꺼내 써야 하는 구조였기 때문입니다.

따라서, 현업이 의식하지 않더라도 업무 흐름 속에 자연스럽게 만나게 해야 합니다.

이것은 현업 구성원들이 변화에 비협조적이라는 뜻이 아닙니다. 새로운 것을 싫어하거나 AI에 관심이 없다는 의미도 아닙니다.

그저 ‘바쁨’이 현업의 기본값이라는 뜻입니다.

따라서 AX를 설계할 때는 현업 구성원이 적극적으로 협조하고, 새로운 도구를 학습하고, 매번 올바른 방식으로 사용해줄 것이라는 기대를 전제로 삼으면 안 됩니다.

이건 지금의 AX팀에서도, 이전에 DX팀에서 일할 때도 비슷한 현상을 반복적으로 목격했습니다.

분명 현업에서 먼저 필요하다고 요청한 과제였습니다. “이 업무가 너무 불편하다”, “이 과정을 자동화하고 싶다”, “이런 시스템이 있으면 정말 좋겠다”는 요청을 받아 프로젝트가 시작됐죠.

그런데 막상 요구사항을 구체적으로 정리하거나 데이터를 전달해야 하는 단계가 되면 진행이 멈추는 경우가 많았습니다. 제가 일정을 다시 확인하고, 필요한 내용을 하나씩 질문하고, 회의를 잡아 정리하기 전까지는 현업에서 자발적으로 요구사항을 완성해 전달하는 일이 거의 없었습니다.

처음에는 솔직히 이런 생각도 했습니다.

‘필요하다고 요청한 쪽에서 먼저 움직여야 하는 것 아닌가?’

하지만 이런 경험이 반복되면서 생각이 바뀌었습니다.

현업은 이미 자신의 본업과 일정으로 가득 차 있습니다. 새로운 시스템을 만들기 위한 요구사항 정리와 도구 학습은 현업에게 ‘중요하지만 당장 급하지는 않은 일’이 되기 쉽습니다.

급한 고객 문의가 들어오고, 마감해야 할 문서가 생기고, 연달아 회의가 잡히는 순간 새로운 AI 도구를 학습하는 일은 자연스럽게 뒤로 밀립니다.

그래서 이런 상황과 현실 앞에서 현업에서 학습곡선이 있는 AI툴이나 에이전트를 쓰기란 무리라는 사실을 깨닫게 되었습니다.  

최대한 의식하지 않더라도 업무 흐름 속에 만나게 해야 하는 것이 필요해 보였죠.

새로운 AI 도구를 쓰라는 말에 숨어 있는 세 가지 행동

바쁜 현업에게 새로운 AI 도구를 쓰라는 건, 이런 부탁과 같습니다.

"지금 하던 일 잠깐 멈추고, 이 툴 어딘가에 로그인해서, 여기에 입력하면, AI가 도와줄 거야."

짧은 안내처럼 보이지만, 이 과정에는 최소한 세 번의 의식적인 행동이 필요합니다.

첫째, 지금 하는 업무에 사용할 수 있는 AI 도구가 있다는 사실을 기억해야 합니다.

‘아, 이럴 때 쓰라고 했던 AI 서비스가 있었지?’

둘째, 현재 작업하던 공간에서 벗어나 새로운 도구로 이동해야 합니다.

작성 중이던 문서나 메신저를 내려놓고, 새로운 탭을 열거나 별도의 서비스에 로그인해야 합니다.

셋째, AI가 이해할 수 있는 형태로 상황을 다시 설명해야 합니다.

업무의 배경과 목적, 원하는 결과물, 반드시 포함해야 할 정보를 AI에게 입력해야 하죠.

평소에는 별것 아닌 행동처럼 느껴집니다. 하지만 마감이 한 시간 앞으로 다가왔거나, 고객의 답변을 기다리고 있거나, 미팅이 연달아 있는 날에는 이 세 단계가 통째로 생략됩니다.

사람은 익숙한 방식으로 돌아갑니다.

직접 문서를 작성하고, 예전에 사용했던 파일을 복사하고, 동료에게 메신저로 물어봅니다. 조금 비효율적이더라도 이미 익숙한 방식이기 때문입니다.

그리고 새로운 도구를 한 번 사용하지 않은 경험은 다음번에도 반복됩니다.

“지난번에도 그냥 내가 했으니까 이번에도 직접 하지 뭐.”

그렇게 몇 번의 생략이 쌓이면 AI 도구는 자연스럽게 업무에서 사라집니다. 사내 공지에는 남아 있고 즐겨찾기에도 저장돼 있지만, 실제 업무에서는 누구도 찾지 않는 ‘죽은 AI’가 됩니다.

결국 현업이 AI를 안 쓰는 건 의지의 문제가 아닙니다. 구조의 문제입니다.

저는 이 깨달음이 조직 내 Hermes 에이전트를 설계할 때 핵심 전제가 됐어요. 정말 지속가능한 AX를 만들기 위해서는 사람이 기억해서 뭔가를 '더 해야'하는 구조가 되기보다는 에이전트가 알아서 성장해야 한다는 것을요.

그리고 Hermes 에이전트가 정확히 이 니즈를 충족시켰습니다.

알아서 똑똑해지는 AI 동료, Hermes

Hermes 에이전트의 핵심 메커니즘은 'Self-Improvement(자기 개선)' 기능입니다. 사용자와의 대화나 작업 수행 경험을 바탕으로, AI가 스스로 스킬을 생성·수정하며 발전하죠. 일반적인 챗봇이나 단순 API 래퍼(Wrapper) 툴과 달리, 작업을 많이 수행할수록 에이전트 자체의 성능과 자율성이 복리처럼 누적되어 똑똑해지는 학습 루프를 갖추고 있습니다.

중요한 점은 AI 모델 자체가 사람처럼 저절로 재훈련된다는 의미는 아니라는 것입니다. 사용자의 피드백과 작업 기록을 바탕으로 기억해야 할 규칙을 남기고, 반복 가능한 작업 절차를 수정하며, 다음 실행에서 더 나은 방식을 적용하도록 만드는 구조에 가깝습니다.

예를 들어 처음 Hermes에게 이렇게 요청했다고 가정해보겠습니다.

“우리 팀의 지난주 정산 내역을 요약해줘.”

처음에는 항목을 단순하게 나열한 일반적인 답변이 나올 수 있습니다.

이때 사용자가 다음과 같이 피드백합니다.

“우리 팀에서는 매출액이 큰 항목부터 정렬해서 보는 게 좋아. 그리고 전주 대비 변화가 큰 항목은 위에서 따로 보여줘.”

일반적인 챗봇이라면 다음번에 다시 같은 지시를 입력해야 할 수 있습니다.

하지만 이 피드백을 팀의 규칙이나 스킬로 남겨둔다면, 다음번 유사한 작업에서는 별도의 설명 없이도 매출액 순서로 정렬하고 전주 대비 변화가 큰 항목을 먼저 보여주는 결과를 만들 수 있습니다.

또 사용자가 다음과 같이 피드백할 수도 있습니다.

“대표 보고용 자료에는 전체 숫자보다 이상 징후와 의사결정이 필요한 부분을 먼저 보여줘.”

이 규칙까지 축적되면 Hermes는 단순한 정산 요약 도구를 넘어, 우리 팀이 어떤 관점으로 데이터를 읽는지를 반영하는 AI 동료로 조금씩 바뀌어갑니다.

처음에는 일반적인 답변을 하던 에이전트가 사용 과정에서 우리 팀의 표현 방식, 보고 순서, 중요하게 보는 지표, 반복되는 작업 절차를 점차 익혀가는 것입니다.

한 번의 피드백이 그 작업에서만 소비되지 않고 다음 작업의 품질을 높이는 자산으로 남기 때문입니다.

오늘 개선한 규칙이 내일의 결과에 반영되고, 내일의 피드백이 다음 주의 업무를 더 나아지게 만듭니다. 시간이 지나면서 작은 개선이 누적되고, 에이전트와 팀의 일하는 방식 사이의 간격이 조금씩 좁아집니다.

쓰면 쓸수록 우리 팀의 일하는 방식과 핏(Fit)이 맞춰지는, 그야말로 ‘복리로 성장하는 AI 동료’가 되는 셈입니다.

그래서 저는 Hermes를 조직 Slack에 전격 도입하는 실험을 했습니다. 사실 마지막까지 강력한 대안이었던 '오픈클로'와 접전을 벌였는데요. Hermes의 이 '학습 루프'를 직접 시험해 보고 싶어 우선 파일럿으로 돌리기로 결정했습니다. 만약 이 루프가 제대로 작동하지 않는다면 미련 없이 오픈클로로 넘어갈 생각이었죠.

오픈클로는 이미 잘 세팅된 강력한 기능들을 안정적으로 제공한다는 점에서 매력적인 후보였습니다. 하지만 제가 내린 결론은 '현업의 업무는 살아있는 생물처럼 계속 변한다'는 것이었습니다.

고정된 기능을 제공하는 툴은 결국 시간이 지나면 또다시 현업의 변화된 흐름을 따라가지 못해 '죽은 AI'가 될 확률이 높았습니다.

그래서 조금은 모험이더라도, 현업의 피드백을 먹으며 함께 진화할 수 있는 Hermes의 '학습 루프' 가능성에 베팅해보기로 결심한 것입니다.

이번 도입은 특정 도구를 무조건적으로 추천하기 위한 실험이 아닙니다.

‘사람이 AI를 찾아가야 하는 구조’에서 ‘AI가 사람의 업무 흐름 안으로 들어오는 구조’로 전환할 수 있는지를 확인하는 실험입니다. 그리고 AI를 많이 만드는 것보다, 하나의 AI가 팀의 업무 안에서 실제로 살아남고 성장하게 만드는 것이 가능한지를 검증하는 과정입니다.

그리고 오는 7월 9일(목) 저녁 7시, 무료 라이브에서 제가 팀에 Hermes 에이전트를 어떻게 설계하고 정착시켰는지 직접 공유합니다.

라이브가 끝난 후 참여해주신 분들을 위한 특별한 선물도 준비되어 있습니다. 비개발자 출신인 AX전략팀 기획자가 현장에서 직접 맨땅에 헤딩하며 AX를 만들어간 이야기, 그리고 그동안의 시행착오를 통해 얻은 '지속가능한 AX 3원칙'까지 아낌없이 정리해 나누겠습니다.

선착순 무료 라이브이니, 관심 있는 분들은 꼭 신청하셔서 실무에 바로 쓸 수 있는 인사이트를 얻어 가시길 바랍니다! 😊

(선착순)무료 라이브 신청 바로가기