AI가 코드를 짜고 논문을 요약하고 모델 구조까지 제안해 주는 지금, 제조 AI를 맡을 사람을 고를 때 전공과 학벌을 얼마나 봐야 할까요. 예전에는 AI 전공과 좋은 학교가 「이 사람은 어려운 기술을 다룰 수 있다」는 가장 빠른 신호였습니다. 그 기술의 상당 부분을 이제 AI 도구가 함께 해 주면서, 그 신호가 알려 주는 것도 달라지고 있습니다.

제조 AI 운영체제 VEXPLOR를 만드는 웨이스가 제조 AI 사업을 진행하며 본 것은 이렇습니다. 결과를 가르는 것은 모델을 얼마나 잘 아는가보다 안 된 결과를 알아채고 그대로 적는 습관이었습니다. 이 습관은 전공과 상관없이 중간 보고서에 그대로 드러납니다. 이 글은 설비 이상 탐지 AI를 예로 들어 보고서에서 보이는 7가지 습관을 정리하고, AI 시대에 전공과 학벌이 무엇을 말해 주고 무엇을 말해 주지 못하는지 적습니다.

전공과 학벌이 주던 신호는 AI 앞에서 약해지고 있습니다

하버드 경영대학원과 BCG가 컨설턴트 758명을 대상으로 한 현장 실험이 있습니다. AI가 잘 풀지 못하는 과제에 AI를 붙이자 정답률이 84.5%에서 60~70%로 떨어졌습니다. 참가자는 모두 그 분야 전문가였습니다. 경력과 학력이 AI의 그럴듯한 오답을 막아 주지 못한 것입니다.

반대로 전공이 달라도 결과를 내는 경우가 생깁니다. 모르는 기술은 AI 도구로 빠르게 채울 수 있기 때문입니다. 그렇다면 남는 질문은 하나입니다. AI가 틀렸을 때 그것을 알아채고, 안 된 결과를 안 됐다고 적는가. 이것은 전공 과목에서 배우는 것이 아니라 일하는 습관에서 나옵니다.

좋은 중간 보고서는 머신러닝 파이프라인의 단계를 따라 쓰여 있습니다

제조 AI는 한 번에 만들어지지 않고 여러 단계를 거칩니다. 좋은 중간 보고서는 한 장짜리 요약이 아니라 이 단계를 따라 나뉘어 있고, 각 단계가 앞 단계에서 무엇을 넘겨받아 다음 단계에 무엇을 넘기는지 밝힙니다.

- 데이터 수집 — 넘겨받는 것: 설비·로그 원본 · 넘기는 것: 수집 현황표
- 전처리 — 넘겨받는 것: 수집 현황표 · 넘기는 것: 학습에 쓸 데이터
- 특징 공학 — 넘겨받는 것: 정제된 신호 · 넘기는 것: 입력 채널과 지표
- 학습 데이터셋 — 넘겨받는 것: 입력 채널 · 넘기는 것: 라벨 붙은 구간
- 모델 학습 — 넘겨받는 것: 라벨 붙은 구간 · 넘기는 것: 모델과 판정 기준
- 평가·운영 — 넘겨받는 것: 모델 · 넘기는 것: 현장 화면과 알림

단계가 나뉘어 있으면 문제가 생겼을 때 어느 단계에서 생겼는지 되짚을 수 있습니다. 반대로 「데이터를 넣었더니 정확도 95%가 나왔다」는 보고서는 그 95%가 어디서 나왔는지 확인할 길이 없습니다. 지금 보고서가 어느 단계까지 와 있는지도 이 표로 보입니다. 모델 학습까지 왔더라도 평가와 운영이 남아 있다면, 그 보고서의 결과는 아직 현장 성능이 아닙니다.

결과를 가르는 일하는 습관 7가지 — 보고서에서는 이렇게 보입니다

1. 무엇을 뺐고, 왜 뺐는지가 적혀 있는가

전처리 단계에서는 반드시 데이터를 걸러 냅니다. 설비를 데우는 동안의 기록, 정지 직후의 기록, 압력이 제대로 걸리지 않은 기록이 그렇습니다. 좋은 보고서는 학습에 쓴 데이터가 전체의 몇 %인지, 빠진 데이터가 어떤 사유로 몇 %씩 빠졌는지 적습니다. 뺀 데이터를 버리지 않고 평가에 다시 쓰는지도 밝힙니다.

뺀 것의 목록이 없으면, 잘 나온 결과가 다루기 쉬운 데이터만 골라서 나온 것인지 알 수 없습니다.

2. 현장에 물어봐야 할 것을 따로 적어 두었는가

데이터를 보다 보면 이상해 보이는 구간이 나옵니다. 평소보다 훨씬 낮은 압력으로 며칠씩 운전한 기간, 설비 제어기의 시계가 서버와 20분 넘게 어긋난 기록 같은 것입니다. 좋은 보고서는 이것을 곧바로 이상으로 판정하지 않고, 「고장인지 의도한 운전 조건인지 현장 확인이 필요하다」처럼 현장 질문으로 남깁니다.

데이터만 보고 답을 정하지 않고, 데이터로는 알 수 없는 것을 따로 적은 보고서가 믿을 만합니다.

3. 잡은 것과 놓친 것을 같이 적었는가

「기록된 고장 중 절반을 잡았다」만 있으면 성과처럼 읽힙니다. 좋은 보고서는 놓친 절반이 어떤 종류였는지를 함께 적습니다. 예를 들어 갑자기 일어나는 사고 중에는 직전에 신호가 달라지지 않는 것이 많아 이 방식으로는 잡기 어렵다는 식입니다. 그리고 그 조건에서 알림이 하루에 몇 번 떴는지, 그중 실제 고장은 몇 %였는지도 함께 적습니다.

이것이 함께 있어야 이 AI가 무엇에 쓸 수 있고 무엇에 쓸 수 없는지 판단할 수 있습니다.

4. 모델이 아직 끝나지 않았다는 것을 숨기지 않는가

중간 보고서의 모델은 대개 아직 완성 전입니다. 좋은 보고서는 모델이 수렴했는지, 아직 학습 중인지를 적습니다. 더 나아가 「데이터를 되살리는 성능은 좋아졌지만 정상과 이상을 구분하는 성능은 나아지지 않았다」처럼 안 된 부분을 구체적으로 적습니다.

이런 문장이 들어간 보고서는 드뭅니다. 하지만 이 문장이 있어야 다음 몇 달 동안 무엇을 고쳐야 하는지가 보입니다.

5. 점검 요청 기준을 현장이 감당할 수 있는 수준에서 골랐는가

이상 징후를 알리는 기준을 정할 때 정확도만 보면 곤란합니다. 좋은 보고서는 기준을 바꿔 가며 전체 기간에 알림이 몇 번 떴을지 세고, 현장이 감당할 수 있는 횟수(예: 설비당 주 1회 이하)에서 기준을 고르자고 제안합니다. 알림이 하루에 열 번 울리는 AI는 정확해도 현장에서 꺼 버립니다.

- 뺀 데이터 — 좋은 보고서의 문장: 제외 사유와 비율 · 경계할 문장: 정제했습니다
- 현장 질문 — 좋은 보고서의 문장: 현장 확인이 필요하다 · 경계할 문장: (없음)
- 놓친 것 — 좋은 보고서의 문장: 놓친 건수와 종류 · 경계할 문장: 탐지율 향상
- 모델 상태 — 좋은 보고서의 문장: 아직 수렴 전 · 경계할 문장: 학습 완료
- 점검 기준 — 좋은 보고서의 문장: 설비당 주 1회 이하 · 경계할 문장: 정확도 95%

6. 결론이 「경보」인지 「감시」인지 구분했는가

고장 몇 건에서 사고 전 몇 시간 동안 신호가 평소와 달랐다면 「고장 예측에 성공했다」고 쓰고 싶어집니다. 좋은 보고서는 여기서 멈춥니다. 대조할 정비 기록이 없는 기간이 있다면 그 결과가 맞는지 모른다고 적고, 지금은 경보가 아니라 추세 감시 지표로 두자고 제안합니다. 지표가 오르면 점검을 요청하고, 점검 결과를 기록해 기준을 맞춰 가는 방식입니다. 몇 건의 사례는 아직 가설이라는 단서도 붙입니다.

확인할 수 없는 것을 경보로 올리지 않고, 확인할 수 있는 방법(점검 기록)을 함께 설계한 것입니다.

7. 「확인한 것」과 「아직 확인하지 못한 것」이 문장으로 나뉘어 있는가

위 여섯 가지를 한 문장으로 줄이면 이것입니다. 보고서가 확인한 것과 아직 확인하지 못한 것을 구분해 말하는가. 이 구분이 되어 있으면 AI를 몰라도 보고서를 판단할 수 있습니다. 확인한 것은 믿고, 확인하지 못한 것은 다음 보고 때까지의 숙제로 적어 두면 됩니다.

학습 데이터가 시간 순서대로 나뉘었는지도 함께 봅니다

7가지와 별개로 한 가지를 더 확인하면 좋습니다. 학습용과 시험용 데이터를 시간 순서대로 나눴는가입니다. 설비 데이터를 무작위로 섞어 나누면, 모델은 시험 구간의 바로 앞뒤 기록을 이미 학습한 셈이 되어 정확도가 부풀려집니다. 좋은 보고서는 설비·품목별로 시간순으로 나누고 경계 부분을 버렸다고 적습니다. 학습 구간에 이상 구간이 섞이지 않았는지 확인한 문장도 있습니다. 이런 문장이 없는 보고서의 정확도는 한 번 더 물어봐야 합니다.

보고서 한 장 서식 — 단계마다 다섯 항목이면 충분합니다

위 내용을 매번 말로 요청하기 번거롭다면, 사업을 시작할 때 중간 보고서 서식을 정해 두는 방법이 있습니다. 단계마다 아래 다섯 항목만 채우게 하면 됩니다.

- 확인한 것 — 적는 것: 수치와 비교 대상 · 예시 문장: 기록 고장 중 절반 탐지
- 확인 못 한 것 — 적는 것: 대조 기록이 없는 것 · 예시 문장: 최근 두 달 대조 불가
- 뺀 것 — 적는 것: 제외한 데이터와 사유 · 예시 문장: 예열·저압 구간 제외
- 현장 질문 — 적는 것: 데이터로 모르는 것 · 예시 문장: 저압 운전 의도인지
- 다음 할 일 — 적는 것: 다음 보고까지의 숙제 · 예시 문장: 점검 기록으로 기준 조정

이 서식은 AI 사업을 맡은 쪽에게도 부담이 크지 않습니다. 이미 분석하며 알고 있는 내용을 항목별로 나눠 적는 일이기 때문입니다. 반대로 이 항목을 채우지 못한다면, 그 단계의 분석이 아직 끝나지 않았다는 뜻입니다.

그래서 전공과 학벌은 아직 필요한가

7가지를 다시 보면 AI 이론을 알아야 쓸 수 있는 문장이 하나도 없습니다. 실험 조건을 적고, 빠진 것을 적고, 결과가 안 나왔으면 안 나왔다고 적는 것은 공정 엔지니어나 품질 담당자가 오래 해 온 일입니다. 그래서 이런 보고서는 AI 전공자가 아니어도 쓸 수 있고, 거꾸로 AI 전공자라도 이 습관이 없으면 쓰지 못합니다.

전공과 학벌이 쓸모없다는 뜻은 아닙니다. 새 모델을 연구하는 일처럼 깊은 이론이 필요한 자리는 여전히 있습니다. 다만 현장에서 AI로 결과를 내는 일에서는, 전공과 학벌이 알려 주는 것보다 이 7가지 습관이 알려 주는 것이 더 많아졌습니다. 사람을 고를 때도, 보고서를 읽을 때도 먼저 볼 것이 바뀐 것입니다.

다음 보고서를 받으면 이렇게 물어보십시오

- 무엇을 뺐습니까 — 뺀 데이터의 종류와 비율을 보여 달라고 합니다.
- 현장에 확인할 것은 무엇입니까 — 데이터로 알 수 없어 현장에 물어야 할 목록을 요청합니다.
- 무엇을 놓쳤습니까 — 잡은 건수와 함께 놓친 건수와 종류를 묻습니다.
- 모델은 끝났습니까 — 수렴했는지, 아직 학습 중인지 묻습니다.
- 알림이 하루에 몇 번 뜹니까 — 점검 요청 기준을 현장이 감당할 수 있는 횟수로 설명해 달라고 합니다.

AI가 기술의 문턱을 낮춘 시대에 결과를 가르는 것은 전공의 이름이 아니라 안 된 것을 알아채는 습관입니다. 그 습관이 적힌 보고서를 받는 회사가 다음 몇 달을 헛되이 쓰지 않습니다.

WACE(웨이스)는 공장이 스스로 판단하고 멈추지 않게 하는 제조 AI 운영체제 VEXPLOR를 만드는 회사다.

(이 글은 웨이스 기술블로그에 먼저 실린 글입니다. 원문: https://blog.vexplor.com/post/do-degrees-still-matter-in-ai-era)