1,632
AI를 꽤 쓴다는 느낌은 비교가 안 되고 점수는 비교가 됩니다. 내 AI 역량을 점수로 확인해야 하는 이유와, 지식이 아니라 해결 과정을 채점하는 AX인재실무진단(APTA) 무료 파일럿(9월 20일 일요일, 70분, 온라인)에서 확인하는 법을 정리했어요.
팀원에게 AI를 얼마나 쓰냐고 물으면 대부분 꽤 쓴다고 답합니다. 리더 본인도 그렇게 답할 겁니다. 문제는 그 답을 검증해 본 사람이 없다는 점입니다. 누가 잘 쓰는지, 팀 전체로 보면 어디가 비어 있는지, 교육을 붙인다면 어디서부터 시작해야 하는지 말해 주는 기준이 없습니다. 이 글은 AI 활용 수준을 느낌이 아니라 점수로 확인해야 하는 이유와, 그 방법으로 저희가 만든 AX인재실무진단(APTA) 무료 파일럿 이야기입니다.
원문: https://blog.jocodingax.ai/newsletter4
자기 평가는 생각보다 후합니다
지난 AX인재실무진단(APTA) 2차 파일럿 신청자 502명 중 10명 중 7명이 반복 업무 자동화나 도구 연동까지 해봤다고 답했습니다. 그런데 그 느낌이 맞는지는 아무도 확인해 준 적이 없습니다. 아직 감이 없는 분도 사정은 같습니다. 어디가 부족한지 짚어 줄 사람도, 측정할 방법도 없으니까요.
느낌만으로는 부족해지는 세 장면
첫째는 팀 안에서입니다. 옆자리 동료도 나도 AI를 쓰는데, 결과물이 비슷해 보여서 누가 더 잘 쓰는지 알 수 없습니다. 잘 쓴다는 걸 보여 줄 근거도 없습니다.
둘째는 채용과 이직입니다. 이력서에 "AI 활용 가능"이라고 적어도 그 한 줄을 받쳐 줄 게 없습니다. 기업은 AI 역량을 채용 기준으로 보기 시작했는데, 지원자 쪽에는 내밀 자료가 없는 셈입니다.
셋째는 팀을 맡은 리더의 자리입니다. 팀에 AI 교육을 붙일지, 어디부터 시작할지 판단하려면 리더가 먼저 재 봐야 감이 옵니다.
세 장면 모두 기준이 없다는 점이 같습니다. 느낌은 서로 비교할 수 없지만 점수는 비교할 수 있습니다. 약한 영역을 알면 무엇부터 배울지가 보이고, 강한 영역을 알면 이력서와 면접에서 말할 거리가 생깁니다. 리더라면 내 점수가 팀을 재는 출발점이 됩니다. 순위를 매기자는 게 아니라 다음 행동을 정하자는 겁니다.
아는 것보다 하는 과정을 채점합니다
AI 역량 시험이라고 하면 프롬프트 용어나 모델 이름을 묻는 지식 시험을 떠올리기 쉽습니다. 하지만 실제로 실력이 갈리는 건 아는 것이 아니라 하는 것입니다. 같은 AI를 써도 어떤 사람은 결과를 그대로 붙여 넣고, 어떤 사람은 틀린 곳을 찾아 고칩니다.
그래서 APTA는 지식 대신 해결 과정을 봅니다. 이 일을 AI에 맡겨도 되는지 판단하고, 알맞은 도구와 맥락을 골라 지시하고, 결과의 오류를 바로잡고, 개인정보와 출처를 지키며 마무리하는 데까지입니다. AI와 주고받은 과정 전체가 기록되어 함께 채점됩니다. 채점 엔진은 5,300명 넘게 신청한 AX인재전쟁 해커톤에서 산출물 1,400건을 심사한 방식을 옮겨 왔고, 사람이 다시 검수합니다.
문항은 세 종류입니다.
- 업무 상황을 주고 AI가 어떻게 작동하고 어디서 한계가 오는지 묻는 문항
- AI와 일하는 장면을 보여 주고 다음에 할 일이나 틀어진 곳을 고르게 하는 문항
- 시험 화면에 붙은 AI를 데리고 실제 업무 과제를 완성해 내는 실기
실기 자료에는 일부러 함정을 심어 두어 AI가 오답을 낼 수밖에 없게 했습니다. 그 답을 믿고 넘기는지, 의심하고 고치는지에서 점수 차이가 납니다.
결과지에 남는 것, 팀 단위로 보는 법
응시를 마치면 결과지가 나옵니다. 총점과 함께 영역별 강약, 같은 응시자 평균과 비교한 내 위치가 숫자로 표시됩니다. "꽤 쓴다"는 느낌이 "지시는 강한데 검증이 약하다" 같은 문장으로 바뀌는 겁니다.
리더에게 더 쓸모 있는 건 팀 단위 진단입니다. 지난 파일럿에서 개인으로 신청한 502명 중 67명(8명 중 1명)이 회사와 팀 전체의 수준도 궁금하다고 답했습니다. 같은 시험을 팀이 함께 치르면 누가 앞서 있고 어느 영역이 팀 전체의 약점인지 드러납니다.
무료 파일럿 안내
무료 파일럿은 9월 20일 일요일에 열립니다. 오후 2시에서 3시 사이에 접속해 시작하고 70분 동안 온라인으로 진행됩니다. 참가비는 무료, 400명 선착순이며 신청은 19일 토요일에 마감됩니다.
준비물은 없습니다. 설치 없이 브라우저로 접속하고, 시험에 쓰는 AI 계정은 저희가 제공합니다. 응시 후 피드백 설문을 남기면 개인 결과지를 보내 드립니다. 문제와 화면이 더 고도화되어 1·2차에 응시하신 분도 다시 볼 수 있습니다. 지난 두 회차에는 650명 넘게 신청했습니다.
결과지는 이렇게 쓰시면 됩니다.
- 실무자라면 약한 영역이 다음에 배울 목록이 됩니다.
- 이직을 준비 중이라면 면접에서 "AI 활용 가능" 대신 영역별 강약을 말할 수 있습니다.
- 팀을 맡고 있다면 내 결과지가 팀 진단의 출발점이 됩니다.
이 글은 조코딩AX파트너스가 준비 중인 APTA와 2차 파일럿 신청 데이터(502명, 9월 2일부터 7일까지 자기 응답 기준)를 바탕으로 썼습니다. 파일럿 신청자는 AI 활용에 관심이 높은 분들이라 일반 직장인 표본과 다르고, 정식 출시 전 검증 단계라 문항과 화면은 회차마다 바뀔 수 있습니다.
무료 파일럿 응시 신청: https://jocodingax.ai/go/baab11
기업 PoC 신청: https://jocodingax.ai/go/baab12
팀이나 회사 단위 진단이 필요하시면 기업 PoC에 인원과 목적을 적어 주세요. 문항 화면 예시까지 담긴 전체 글은 블로그 원문에서 보실 수 있습니다: https://blog.jocodingax.ai/newsletter4
