*PO(Project Owner) 리우가 고군분투하며 직접 작성한 글을 바탕으로 합니다.

TEO 소개

: TEO는 스펙터가 보유한 72만여 개의 평판 데이터를 기반으로 사람을 예측하는 대화형 AI입니다.

👉 TEO를 제작하기로 했 때, ‘프롬프트를 최적화’하는 방식으로 결정이 났는데요. 이유는 2가지 입니다.

1.학습보다 양질의 데이터

TEO의 답변 정확도는 주어지는 데이터의 질과 양에 더 크게 좌우됐습니다. 따라서 데이터를 다각화하는 분석 테크닉과, 데이터 파이프라인 구축에 더욱 신경을 썼습니다.

2.데이터 통제의 난이도

TEO에게는 중요한 원칙이 있는데요.

첫 번째, ‘A'에 관해 물어봤는데 ‘B’에 대한 답을 절대로 하면 안 됩니다.
두 번째, 'A’에 관해 물어봤는데 정보가 없다고 해서 지어내서 아는 척을 하면 절대로 안 됩니다.

이 2가지 원칙을 성공적으로 적용시키기 위해 TEO에게 제공하는 데이터와 답변을 확실하게 제어하는 방식으로 프롬프트를 튜닝 전략을 짜기 시작했습니다.

그런데.. 모든 일이 이렇게 술술 풀리면 얼마나 좋을까요.

셀 수 없는 테스트와, 수정과, 우여곡절과, 통곡을 거쳐, 드디어 목표하는 안전성과 정확도에 도달하는 TEO 프롬프트 구성이 끝났지만..

“큰일 났다. TEO가 너무 비싸다.”

예상 비용과는 딱 100배 차이가 났는데요. 하하하 (실성) 😅😱

LLM을 활용한 상용 프로덕션 제작기가 궁금하신 분들은 댓글 링크를 통해 확인할 수 있습니다.

블로그에서 전문 확인하기