58
AI 구독료는 매달 나가는데, 그 돈이 성과로 돌아오는지는 누구도 자신 있게 말하지 못합니다. 팀에 AI를 들인 리더라면 "누가 잘 쓰고, 누가 그냥 따라 쓰는지"를 한 번쯤 궁금해했을 겁니다. 저희 조코딩AX파트너스가 AI 역량평가 APTA를 만든 것도 이 질문에 감이 아니라 숫자로 답하기 위해서였습니다.
원문: https://blog.jocodingax.ai/ai-competency-assessment-guide
다들 쓰는데, 아무도 실력을 모른다
저희가 2,078명을 조사한 「2026 하반기 AX 트렌드 리포트」를 보면 상황이 선명합니다. AI를 매일 쓴다는 응답이 91%였는데, AI 활용이 업무 표준으로 자리 잡았다는 조직은 12.5%뿐이었습니다. AI 도입의 병목 1위로는 구성원 간 AI 활용 수준 편차(48.6%)가 꼽혔습니다. 조사 표본은 AI를 적극 활용하는 실무자이고, 수치는 응답자가 본 자기 조직 기준입니다.
핵심은 "쓴다"와 "잘 쓴다"의 차이입니다. 같은 도구를 쓰면서도 누군가는 결과를 검증해 고친 뒤 업무에 넣고, 누군가는 AI가 준 답을 그대로 옮깁니다. 겉으로는 둘 다 AI를 쓰는 사람이라 이 차이가 드러나지 않습니다.
재지 않으면 생기는 일
측정 기준이 없으면 막히는 지점은 대개 세 곳입니다.
- 교육: 교육을 마쳐도 보고할 수 있는 건 만족도와 이수율 정도입니다. 전후를 같은 기준으로 재지 않으면 다음 예산을 설득하기 어렵습니다.
- 인재: AI 활용을 이끌 사내 리더를 고르거나, 이력서의 'AI 활용 가능'을 검증할 기준이 없습니다.
- 실무: 용어를 잘 아는 것과 AI에게 일을 맡기고 결과를 바로잡는 것은 다른 능력입니다. 지식 문항만 보면 점수는 높은데 실무에서 오류를 넘기는 일이 생깁니다.
설문과 시험으로는 부족한 이유
AI 역량을 재는 방법은 자가진단 설문, 지식 시험, 실기형 평가로 나뉩니다. 설문은 빠르지만 자기보고라 실제 실력과 거리가 있고, 지식 시험은 채점이 깔끔하지만 업무 활용 능력은 보여 주지 못합니다. 실기형 평가가 실무에 가장 가깝지만, 사람이 하나씩 채점하면 규모를 키우기 어렵다는 약점이 있습니다. APTA는 바로 이 지점을 풀려고 설계했습니다.
답이 아니라 푸는 과정을 본다
APTA(AX 인재실무진단)는 지식 문항에 더해, AI로 실무 과제를 해결하는 과정까지 평가하는 실기 중심 평가입니다.
응시 화면 안에 AI 도구와 자료 폴더가 있는 업무 화면이 마련돼 있어서, 설치 없이 브라우저로 들어가 자료를 읽고 AI에게 지시하며 결과물을 만듭니다. 과제에는 AI가 틀리기 쉬운 자료가 섞여 있어 응시자가 AI 결과를 그대로 받아쓰는지, 근거와 대조해 고치는지가 드러납니다.
푸는 동안 입력한 프롬프트 전 과정이 기록되고 최종 결과물과 함께 채점됩니다. 채점에는 5,431명이 신청한 'AX 인재전쟁' 해커톤에서 산출물 1,400건을 채점한 심사 엔진을 옮겨 왔고, 문제 출제, AI 에이전트 심사, 사람 검수를 거칩니다. 평가 기준은 문제 인식·정의, 접근 설계, 실행·활용, 검증·평가, 통합·책임의 다섯 단계입니다.
시험은 70분, 100점 만점에 60점이 합격선입니다. 객관식 10문항, 주관식 5문항, 실기 2문항으로 구성되고, 주관식에서는 AI와 나눈 대화 기록을 보고 사람이 어디서 멈춰 확인했어야 했는지 직접 짚게 합니다. 구간별 배점과 단계별 평가 행동은 원문에 표로 정리해 두었습니다.
점수 다음에 남는 것
평가가 끝나면 리포트가 두 종류 나옵니다. 개인 리포트는 총점과 다섯 가지 역량 프로필, 실기 항목별 채점 근거, 강점과 개선 우선순위를 담습니다. "AI 활용은 잘하는데 결과 검증이 약하다"처럼 무엇을 보완할지가 구체적으로 보입니다.
리더에게 더 쓸모 있는 건 조직 리포트입니다. 조직 전체의 역량을 앞 회차와 비교해 교육 전후 변화를 보여 주고, 부서·팀별 비교로 어느 부서에 어떤 역량이 모자란지 짚어 줍니다.
먼저 써 본 두 회사
APTA에는 기업 임직원과 개인을 합쳐 누적 1,000명 이상이 응시했습니다.
농협정보시스템은 상반기 집체교육과 사내 해커톤에 이어 비개발 직군을 포함한 전 직원 약 600명으로 대상을 넓혔습니다. 직원들은 온라인 강의 「업무를 위한 AI 리터러시」를 마친 뒤 APTA에 응시했고, 완강과 응시를 모두 마쳐야 이수로 인정됐습니다. 응시 후 설문의 시험 경험 만족도는 5점 만점에 평균 4.1점이었습니다.
"생각보다 실무 관점에서 문제가 나와서, 잘 푼 것과 별개로 재밌었다." (농협정보시스템 직원)
"실기 시험이 신선하고 좋았습니다." (농협정보시스템 직원)
광동제약은 AI 교육 전과 후에 한 번씩 APTA로 진단해 변화를 비교했습니다. 같은 기준으로 두 번 재면 역량별로 얼마나 달라졌는지가 숫자로 남습니다. 공개 회차에서는 2026년 9월 응시자 135명 중 79%가 실기 과제가 실제 AI 활용 역량을 재기에 적합하다고 답했습니다.
"진짜 '실무' 진단이라는 말에 걸맞은 문제들이었습니다." (응시자)
"보안, 효율성 등 다양한 상황을 제시해 AI 활용도를 시험해 본 것이 좋았습니다. 난이도 배분도 좋았습니다." (기업 재직 개발자)
시작은 리더가 먼저 풀어 보는 것
도입은 담당자가 샘플 문제를 직접 풀어 보는 데서 시작합니다. AX아카데미 기업교육 페이지에서 무료 역량평가 체험을 할 수 있고, AXHub 계정으로 로그인하면 PC에서 바로 시작됩니다. 이후 명단 전달, 응시 안내, 응시, 리포트 발행까지의 진행 단계와 자주 묻는 질문은 원문에 담았습니다.
AI 역량평가가 교육을 대신하지는 않습니다. 다만 어디서 시작할지, 끝난 뒤 무엇이 달라졌는지 알려 주는 기준이 됩니다. 약한 역량부터 가르치고 같은 기준으로 다시 재는 흐름이 생기면, AI 교육도 다른 사업처럼 숫자로 보고할 수 있습니다.
이 글의 원문은 조코딩AX파트너스 블로그에서 읽으실 수 있습니다. 평가 문항 구성표와 실기 화면, 리포트 샘플까지 담았습니다.
