“AI 사용량을 직원 KPI에 반영하겠다”는 이야기가 들린다. 이미 AI 사용량을 KPI 항목 중 한 부분으로 운영하는 조직도 있을 거라 생각된다. 당연히 조직의 AI 전환을 서두르려는 취지는 이해한다. 그러나 토큰 사용량으로 직원을 평가하는 것은 전기를 많이 쓴 공장을 생산성 높은 공장이라고 부르는 것과 다르지 않다. 조회수보다 전환율이 중요하듯, AI 활용에서도 중요한 것은 얼마나 많이 입력했느냐가 아니라 무엇을 바꾸었느냐다. 토큰은 투입량이자 비용 지표다. 그 토큰으로 만든 보고서가 실제 의사결정에 쓰였는지, 고객 문의를 더 정확하게 해결했는지, 개발 기간이나 재작업을 줄였는지는 말해주지 않는다.

평가해야 할 것은 AI 사용량이 아니라 

결과물의 변화다 

-AI 전환율의 시작-

직원의 토큰 사용량을 트래킹 하기 시작했다

기업에 생성형 AI가 들어오면 가장 먼저 숫자가 쌓인다. 누가 접속했는지, 얼마나 자주 사용했는지, 프롬프트를 몇 번 입력했는지, 토큰을 얼마나 소비했는지까지 쉽게 확인할 수 있다. 부서별 활용률을 비교하기도 좋고, 경영진에게 AI 도입 성과를 보고하기도 편하다. 문제는 이 숫자가 어느 순간 직원의 성과를 평가하는 KPI로 바뀔 때 시작된다.

생성형 AI가 일상적인 업무 도구로 자리 잡으면서 기업은 직원별 접속 횟수와 사용량을 관리하기 시작했다. 그러나 사용량이 곧 성과를 의미하는 것은 아니다.

아직 토큰 소비량을 공식적인 인사평가 기준으로 삼는 사례가 일반적이라고 보기는 어렵다. 하지만 AI 활용률을 빠르게 끌어올리려는 조직에서는 접속 횟수나 사용량처럼 측정하기 쉬운 숫자가 성과처럼 받아들여질 가능성이 있다. AI를 많이 사용한 직원은 새로운 기술을 적극적으로 받아들인 사람이고, 적게 사용한 직원은 변화에 뒤처진 사람일까. 그렇게 단순하지 않다.

플랫폼의 성과는 조회수가 아니라 전환율이다. 조회수가 아무리 많아도 구매나 가입으로 이어지지 않는다면 실질적인 성과는 낮다. 반대로 방문자는 적더라도 전환율이 높다면 더 가치 있는 채널일 수 있다. AI도 마찬가지다. 중요한 것은 얼마나 많이 사용했는지가 아니라, 사용한 만큼 실제 결과가 달라졌는 가다. 토큰이 업무시간을 얼마나 줄였고, 결과물의 완성도를 얼마나 높였으며, 이전에는 처리하지 못하던 어떤 업무를 가능하게 했는지를 봐야 한다.

 

토큰 사용량은 성과가 아니라 결과물의 재료다

토큰은 많은 생성형 AI 서비스에서 입력과 출력을 처리하고 사용량이나 비용을 계산하는 기본 단위 중 하나다. 기업 입장에서는 AI가 얼마나 사용되고 있는지, 비용이 어디에서 발생하는지를 확인하는 데 필요한 숫자다. 하지만 토큰 소비량은 전기 사용량이나 복사용지 사용량에 가깝다.

토큰은 투입을 보여주고, 채택률·품질·시간 절감·업무 확장은 성과를 보여준다.

디자이너가 컴퓨터를 오래 사용했다고 좋은 디자인을 만든 것은 아니다. 개발자가 더 많은 코드를 작성했다고 더 좋은 시스템을 만든 것도 아니다. 영업사원이 더 많은 전화를 했다고 반드시 더 많은 계약을 성사시킨 것도 아니다. 토큰도 같다. 많이 썼다는 사실은 AI가 더 많은 내용을 처리했다는 뜻일 뿐이다. 그 결과가 정확했는지, 실제 업무에 사용됐는지, 고객과 조직에 어떤 가치를 만들었는지는 보여주지 못한다.

기업이 비용을 통제하기 위해 토큰 사용량을 확인하는 것은 필요하다. 다만 비용을 관리하기 위한 숫자와 직원의 성과를 평가하기 위한 숫자는 구분해야 한다. 토큰은 비용을 설명할 수는 있어도 성과를 증명하지는 못한다.

많이 쓰면 잘 쓰는 것처럼 보이는 함정

측정값이 목표가 되는 순간 사람은 그 숫자를 높이는 방향으로 움직인다. 이를 흔히 굿하트의 법칙으로 설명한다. 굿하트의 법칙은 흔히 “측정지표가 목표가 되는 순간, 좋은 측정지표로서의 기능을 잃는다”는 문장으로 요약된다.

굿하트의 법칙: 어떤 지표가 목표가 되면, 더 이상 좋은 지표로서의 기능을 상실한다.

소련의 한 못 공장을 비유한 유명한 사례가 있다. 생산량을 못의 개수로 평가하자 공장은 작고 쓸모없는 못을 대량으로 만들었다. 이후 평가 기준을 무게로 바꾸자 이번에는 지나치게 크고 무거운 못을 만들었다. 직원들은 일을 못한 것이 아니다. 주어진 지표를 가장 충실하게 달성했을 뿐이다.

논문 수를 성과로 평가하면 연구자는 논문의 질보다 수를 늘리는 데 집중할 수 있다. 콜센터에서 상담 건수만 평가하면 고객의 문제를 충분히 해결하기보다 통화를 빨리 끝내려 할 수 있다. 코드 작성량을 개발자의 성과로 삼으면 불필요하게 긴 코드까지 좋은 성과처럼 보일 수 있다. AI 사용량을 KPI로 만들면 같은 일이 벌어진다.

한 번이면 끝날 질문을 여러 번 나누어 입력하고, 필요하지 않은 문서를 계속 생성하며, AI를 사용하지 않아도 되는 업무에 억지로 AI를 끼워 넣을 수 있다. 토큰 사용량은 늘지만 업무 결과는 달라지지 않는다. AI가 만든 결과를 실제 업무에는 사용하지 않으면서 사용 기록만 남기는 일도 가능하다. 조직의 대시보드에는 AI 활용률이 높아졌다고 표시되지만, 정작 업무 방식과 결과물은 그대로일 수 있다. 회사가 원한 것은 생산성 향상인데, 실제로 늘어난 것은 AI 사용 기록뿐인 셈이다. 측정된 숫자와 조직이 원했던 성과가 서로 다른 방향으로 움직이기 시작한다.

세 명의 직원은 다르게 평가돼야 한다

이해를 돕기 위해 세 명의 가상 직원을 비교해 보자.

첫 번째 직원은 비교적 적은 토큰을 사용한다. AI에게 요청하기 전에 문제를 정리하고, 필요한 자료를 선별한 뒤 정확한 질문을 입력한다. 생성된 결과를 최소한으로 수정해 높은 완성도의 결과물을 제출한다.

두 번째 직원은 많은 토큰을 사용한다. 하지만 단순히 질문을 반복해서가 아니다. 기존에는 맡지 못했던 데이터 분석과 고객 의견 분류, 보고서 작성까지 업무 영역을 넓혔다. 토큰 소비는 늘었지만 처리할 수 있는 업무의 폭과 실제로 사용되는 결과물도 함께 늘었다.

세 번째 직원 역시 많은 토큰을 사용한다. 그러나 비슷한 질문을 반복하고, 생성된 결과의 상당 부분을 폐기한다. AI를 도입하기 전과 비교해 업무시간도 크게 줄지 않았고, 결과물의 완성도도 달라지지 않았다.

효율형·확장형·소비형은 토큰 사용량만으로 구분할 수 없다.

사용량만 보면 두 번째와 세 번째 직원은 비슷하다. 오히려 첫 번째 직원이 가장 낮은 평가를 받을 수도 있다. 하지만 실제 성과는 전혀 다르다.

• 첫 번째 직원은 AI 활용 효율이 높은 사람이다.
• 두 번째 직원은 AI를 통해 업무 역량을 확장한 사람이다.
• 세 번째 직원은 AI 소비량만 많은 사람이다.

이 세 사람을 하나의 사용량 지표로 평가하면 조직은 효율적으로 일하는 사람을 불리하게 만들고, 불필요하게 AI를 많이 사용하는 행동을 장려하게 된다. 따라서 AI 활용 역량을 평가하려면 사용량과 함께 최소한 세 가지를 봐야 한다. 결과물의 품질, 업무 효율, 업무 범위의 확장이다.

생산성이 빨라졌다는 것만으로 충분하지 않다

AI의 생산성 효과를 다룬 연구들도 사용 횟수보다 업무 결과를 측정한다. GitHub와 Microsoft Research가 전문 개발자 95명을 대상으로 진행한 통제실험에서는 Copilot을 사용한 집단이 특정 JavaScript 프로그래밍 과제를 평균 55.8% 빠르게 완료했다.

GitHub Copilot 통제실험의 과제 평균 완료시간. 사용 집단의 완료시간이 55.8% 짧았다.

여기서 중요한 것은 Copilot을 몇 번 호출했는지가 아니다. 주어진 과제를 제대로 완료했는지, 완료하는 데 얼마나 시간이 걸렸는지를 측정했다는 점이다. 다만 이 결과를 개발 업무 전체로 확대해서는 안 된다. 하나의 정해진 프로그래밍 과제에서 나타난 효과이기 때문이다. 고객지원 업무를 분석한 연구에서도 비슷한 결과가 나타났다.

5,179명의 고객지원 상담원을 분석한 연구에서는 생성형 AI 지원 도구를 사용한 뒤 시간당 문제 해결 건수가 평균 14% 증가했다. 특히 초보자와 저숙련 직원의 생산성은 34% 개선됐지만, 이미 숙련도가 높은 직원에게서는 효과가 크지 않았다. 같은 AI를 사용해도 사람과 업무에 따라 결과가 달랐던 것이다.

따라서 “AI를 사용했는가”는 출발점에 불과하다. 사용한 이후 업무가 얼마나 빨라졌는지, 오류와 재작업이 줄었는지, 고객의 문제가 실제로 해결됐는지까지 확인해야 한다. 많이 사용한 사람이 반드시 가장 큰 성과를 만든 것은 아니다.

생산성은 사람마다 다른 방식으로 나타난다

Microsoft와 LinkedIn의 2024년 조사에서는 AI 파워 유저가 일반 사용자보다 업무 절차를 다시 설계하고, 하루 30분 이상 시간을 절약한다고 응답하는 경향이 나타났다. 다만 이는 통제실험이 아니라 설문과 Microsoft 365 사용 데이터를 결합한 조사다. AI를 사용했기 때문에 반드시 시간이 절약됐다고 단정하기보다, AI를 적극적으로 활용하는 사람들에게서 그런 경향이 나타났다고 보는 편이 정확하다. 여기서 주목해야 할 점은 파워 유저가 단순히 AI를 자주 호출하는 사람이 아니었다는 것이다.

그들은 AI를 이용해 회의를 따라잡고, 자료를 분석하고, 고객과 소통하며, 기존 업무의 흐름을 다시 설계하려 했다. AI 활용 역량은 프롬프트를 많이 입력하는 능력보다 업무를 새롭게 설계하는 능력에 가깝다. 예를 들어 매주 두 시간이 걸리던 보고서를 20분 만에 작성하는 직원이 있을 수 있다. 또 다른 직원은 보고서 작성시간은 그대로지만 AI를 이용해 경쟁사 분석과 고객 의견 분류까지 추가할 수 있다. 첫 번째 직원은 같은 일을 더 빠르게 처리했다. 두 번째 직원은 같은 시간 안에 더 많은 종류의 일을 할 수 있게 됐다. 둘 다 의미 있는 성과다. 다만 성과가 나타난 방식이 다를 뿐이다. 사용량만으로는 이 차이를 볼 수 없다.
 

적게 쓰는 것이 항상 좋은 것도 아니다

그렇다고 토큰을 적게 사용하는 직원이 무조건 우수하다는 뜻은 아니다. 토큰 효율만 지나치게 강조하면 직원은 충분한 탐색을 하지 않게 된다. 복잡한 문제를 해결하려면 여러 가능성을 비교하고, 다른 접근을 시험하고, 결과를 반복해서 수정해야 할 때도 있다. 디자이너가 다양한 시안을 탐색하거나, 개발자가 여러 해결 방법을 검토하거나, 분석가가 서로 다른 가설을 비교한다면 토큰 사용량은 자연스럽게 늘어난다. 이때의 사용량은 낭비라기보다 탐색 비용에 가깝다.

따라서 적은 토큰으로 기존 업무를 처리한 직원과, 더 많은 토큰을 사용해 새로운 영역까지 해결한 직원을 단순히 비용만으로 비교해서는 안 된다. 핵심은 적게 쓰느냐 많이 쓰느냐가 아니다. 쓴 만큼 무엇이 달라졌느냐가 중요하다.

AI KPI는 한 개의 숫자(사용량)로 만들 수 없다

AI 활용 성과를 평가하기 위해 사용량을 완전히 버릴 필요는 없다. 다만 사용량의 위치를 바꿔야 한다. 토큰 사용량은 성과지표가 아니라 투입지표다. 그 위에 결과지표가 함께 있어야 한다. 문서 작성 업무라면 결과물이 실제로 채택된 비율과 작성·수정에 걸린 시간, 사실 오류와 재작업 횟수, 독자나 고객의 반응을 봐야 한다.

개발 업무라면 완료시간뿐 아니라 테스트 통과율과 결함 발생률, 유지보수성까지 확인해야 한다. 고객상담이라면 처리 건수와 함께 문제 해결률, 재문의율, 고객 만족도를 봐야 한다. 조회수가 전환으로 이어져야 의미가 있듯, 토큰도 결과물과 업무 성과로 전환돼야 의미가 있다. 이를 이 글에서는 편의상 ‘AI 전환율’이라고 부르려 한다. AI에 투입한 시간과 비용이 실제 결과물과 시간 절감, 품질 향상, 업무 확장으로 얼마나 이어졌는지를 보는 것이다.

AI 투입이 업무 변화를 거쳐 실제 성과로 이어지는지를 평가해야 한다. 

AI 전환율은 이미 표준화된 학술지표나 하나의 계산식을 뜻하지 않는다. 토큰 사용량이라는 투입값을 그 자체로 성과라고 착각하지 말자는 개념적 제안에 가깝다.

 

사용량을 기준으로 하면 직원의 행동을 왜곡할 수 있다

직원에게 “AI를 적극적으로 사용하라”라고 독려하는 것과 “AI를 많이 사용한 사람을 높게 평가하겠다”라고 말하는 것은 전혀 다르다. 전자는 학습을 장려한다. 후자는 사용량을 경쟁하게 만든다. 직원은 어떤 업무에 AI가 적합한지 판단하기보다 사용 실적을 채우기 시작한다. AI를 쓰지 않는 편이 더 효율적인 업무에서도 사용량을 늘리기 위해 AI를 호출할 수 있다. AI를 많이 쓰게 만드는 것보다 제대로 쓰게 만드는 것이 중요하다.
 

평가해야 할 것은 AI 사용량이 아니라 결과물의 변화다

기업이 AI 사용 데이터를 수집하는 것은 필요하다. 어느 부서에서 활용도가 높은지, 비용이 어디에서 발생하는지, 교육이 필요한 직원은 누구인지 확인할 수 있다. 사용량은 AI가 조직 안에 얼마나 확산되고 있는지를 보여주는 유용한 초기 지표다. 하지만 그 숫자가 직원의 최종 성과가 되어서는 안 된다.

AI 도입의 목적은 토큰을 소비하는 것이 아니다. 더 빠르고, 더 정확하고, 더 넓게 일하기 위해서다. 따라서 기업이 평가해야 할 것은 사용량이 아니라 변화다.

• 예전보다 시간이 줄었는가.
• 결과물의 완성도가 높아졌는가.
• 반복적인 오류와 재작업이 줄었는가.
• 이전에는 하지 못했던 업무를 처리하게 됐는가.
• 그 결과 고객과 조직에 실제 가치가 생겼는가.

AI를 거의 쓰지 않고도 뛰어난 결과를 만드는 직원이 있을 수 있다. 많은 토큰을 사용해 자신의 업무 영역을 크게 확장한 직원도 있을 수 있다. 반대로 사용량은 많지만 결과에는 아무런 변화가 없는 직원도 있다. 이들을 하나의 숫자로 평가해서는 안 된다.

조회수는 관심을 보여주지만 성과를 증명하지 않는다. 토큰 사용량도 마찬가지다. AI 시대에 필요한 KPI는 사용량이 아니다. AI를 통해 무엇이 달라졌는지를 보여주는 지표다.
 

참고자료

- Peng, S., Kalliamvakou, E., Cihon, P., & Demirer, M. (2023). The Impact of AI on Developer Productivity: Evidence from GitHub Copilot. 원문 통제실험 참가자 95명. 과제를 완료한 참여자의 평균 완료시간은 통제집단 160.89분, Copilot 집단 71.17분.

- Brynjolfsson, E., Li, D., & Raymond, L. (최신 원문 2026). Generative AI at Work. 원문 5,172명의 고객상담 데이터를 분석. AI 지원 접근 후 시간당 해결 건수가 평균 15% 증가했으며 효과는 숙련도에 따라 달랐다.

- Microsoft & LinkedIn. (2024). AI at Work Is Here. Now Comes the Hard Part: 2024 Work Trend Index Annual Report. 원문 31개 시장 31,000명의 지식노동자 대상 조사. AI 파워 유저의 시간 절감과 워크플로 재설계, BYOAI 관련 수치를 참조했다.

- Fire, M., & Guestrin, C. (2019). Over-optimization of academic publishing metrics: observing Goodhart's Law in action. 원문 1억 2천만 편 이상의 출판물 데이터를 분석해 성과 지표가 목표가 될 때 학술출판 행동이 변할 수 있음을 다뤘다.

Author: Shaun

• storymaker.shaun@gmail.com
• https://brunch.co.kr/@shaun