AI 제품을 만들다 보면 이런 경험을 하게 됩니다.

하나의 실험이 다음 단계로 나아가기 위한 단서가 되지 못하고, 결론도 못 낸 채 다시 제자리로 돌아가 버리는 경우. 혹은 실험이 목적지를 향한 방향 확인이 아니라, 옆길로 새다 못해 아예 숲 속에서 길 잃는 기분이 되는 경우. 실험을 위한 실험을 하고 있다는 불길한 느낌이 엄습해 오는 상황들…

저 역시 그런 경험을 꽤나 많이 한 것 같습니다. 
그리고 그때마다 깨달은 건, 단순히 실험을 더 자주, 더 많이 하는 것만으로는 부족하다는 사실이었습니다. 스프린트 일정에 쫓겨 임팩트 없는, 학습되기 어려운 실험을 계속 이어가는 게 가장 안 좋은 시나리오였죠.

뭐가 문제일까?

많은 팀이 AI를 붙였다 → 결과가 이상하다 → 왜 그런지 모르겠다는 수순을 밟습니다. 실패해도 정확한 원인 분석이 어렵고, 개선 방향을 잡지 못한 채 '일단' 다음 실험으로 넘어가 버리곤 하죠.