그러다 보니 모델 교체는 감에 의존하게 됐고, 한 번 정한 모델은 잘 바뀌지 않았습니다.

모델은 유저 반응으로 고르기로 했습니다

새 모델은 일부 유저에게만 먼저 적용합니다. 성과가 같으면 더 저렴한 모델로 옮기고, 문제가 보이면 바로 되돌립니다. 기존 모델이 확실히 낫다는 결과가 나와도 의미가 있습니다. 지금 모델을 계속 쓸 근거가 생기기 때문입니다.

위 화면은 지금 쓰는 모델에 유저의 80%를 두고, 새 후보 두 개에 10%씩 보내는 설정입니다. 같은 유저는 기기 기준으로 항상 같은 모델을 받기 때문에, 이전 답변 경험이 다음 행동에 섞이지 않습니다. 결과가 나빠 보이면 재배포 없이 비중만 바로 되돌리면 됩니다.

무엇을 성과로 봐야 할까

무엇을 성과로 볼지는 기능마다 직접 정합니다. 글쓰기 기능이라면 생성한 초안 중 저장하거나 공유한 비율을, 채점 기능이라면 해설을 본 뒤 다시 풀어 보는 비율을 볼 수 있습니다.

기록은 간단합니다. 결제 버튼에 기록 한 줄만 넣어 두면, 결제한 유저가 어떤 모델의 답을 받았는지 ABTO가 이어서 기록합니다. 이 한 줄을 어디에 넣을지도 직접 찾을 필요 없이 에이전트에게 맡기면 됩니다.

모델사 순위와 유저의 순위는 달랐습니다

지금 20팀 넘게 쓰고 있는데, 평균 내보니 AI 비용은 34% 줄고 결제나 재방문은 15% 정도 올랐습니다. 답변을 짧게 줄였더니 오히려 지표가 오른 곳도 있었고, 같은 서비스 안에서도 기능마다 유저가 고르는 모델이 달랐습니다.

비싼 모델과 긴 답변이 항상 최선인 것은 아니었습니다.

운영해 보며 알게 된 건, "어떤 모델이 좋은가"보다 "어느 기능에 어떤 모델이 맞는가"가 더 중요한 질문이라는 점입니다. 이 질문의 답은 결국 자기 유저의 반응에 있었습니다.

모델을 고르는 기준은 유저 반응이었습니다

모델을 고를 때 모델사가 발표한 점수보다 먼저 볼 것은 우리 유저의 반응이었습니다. 매달 AI 비용이 부담스러운데 유저가 떠날까 봐 모델을 못 바꾸고 있다면, 일부 유저에게만 먼저 바꿔 보세요.

ABTO(앱토)
비용과 유저 반응을 한 화면에서 비교하는 AI 성과 분석 도구입니다. 에이전트에 ABTO 스킬을 설치하고 "/abto ABTO 연동해줘"라고 요청하면 5분 안에 연동됩니다. 후보 모델부터 고민이시면 질문 몇 개로 추천받는 페이지도 있습니다.
https://abto.app/onlyfor/benchmark-gap
문의 contact@abto.app