AI 제품을 만드는 Product Manager 관점의 글

 

AI 제품에서는 테스트 방식 자체가 달라진다.
 

기존 제품에서는 기능이 명확하게 정의되어 있고 그 기능이 의도대로 동작하는지를 확인하면 된다.

예를 들어 로그인 기능을 만든다고 가정해보자.

• 올바른 아이디와 비밀번호 입력 → 로그인 성공


• 잘못된 비밀번호 입력 → 로그인 실패


• 비로그인 상태에서 접근 → 로그인 페이지 이동

이처럼 입력과 결과가 명확하다. 그래서 테스트는 비교적 단순하다. 정답이 있기 때문이다.

---

하지만 생성형 AI 제품에서는 이 방식이 어려워진다.

예를 들어 AI가 [회의 요약]을 한다고 할 때,
같은 회의 내용을 입력해도 응답은 매번 달라질 수 있다.
어떤 요약은 결론 중심으로 요약했고, 어떤 요약은 간단한 맥락까지 포함했을 수 있다.

이럴 때는 둘 중 어느 것이 하나의 <정답>인지 정의하기 어렵다는 점이다.