<AI 제품을 처음 만들게된 PM에게> 시리즈
8️⃣️ Part 8. 체크리스트를 넘어선 실험 기반 QA 구조

Part 8. 핵심 요약

- 기존 QA 방식으로는 생성형 AI 제품의 품질을 충분히 담보할 수 없다.
- 기능 명세 기반의 테스트는 LLM 기반 응답의 불확실성과 다양성을 다룰 수 없다.
- PM은 QA 담당자와 함께 실험 중심의 품질 판단 체계를 설계하고, LLM을 붙이기 전후로 완전히 다른 제품 흐름이 된다는 점을 고려한 테스트 설계를 리드해야 한다.

기존 디지털 제품의 QA는 명확한 기능 명세와 그에 따른 시나리오를 기준으로 이루어졌다. 버튼을 누르면 어떤 화면이 나오는지, 어떤 조건에서 어떤 결과가 출력되는지—정확한 정의와 시나리오가 있었고, 테스트 케이스는 이를 검증하는 방식으로 설계되었다.

AI 제품에서는 QA가 가장 어렵고도 모호한 영역이다. 그 이유는 단 하나—예측이 안 되기 때문이다.

명세서가 있어도 모델이 정확히 따르지 않는다. 테스트 케이스를 정의해도, 같은 입력에 매번 같은 응답이 나오지 않는다. 그렇다고 QA를 포기할 수도 없다. 그렇다면, 우리는 QA를 어떻게 다시 바라봐야 할까?