AI 기능은 이제 어느 서비스에나 있습니다.

예를 들어볼까요?

오랜만에 안 읽은 카톡 좀 정리해볼까 하고 밑에 있던 주식 분석 단톡방에 들어갔더니 
안 읽은 메시지가 300개 정도 쌓여있습니다.

흠.. 그래도 무슨 얘기를 했는지 한 번 보고는 싶은데 양이 너무 많네 어쩌지?
그냥 버튼 하나 누르면 됩니다.

요즘 카카오톡에서는 ‘대화 요약’ 버튼 하나면 
그동안 무슨 얘기가 오갔는지 정리해 줍니다.

또 뭐가 있냐고요?
쿠팡은 후기 탭 맨 위에 장단점을 요약해 보여 주는 기능을 베타로 운영하고 있고,
당근과 같은 중고거래 플랫폼에서는 물건 사진만 올리면 AI가 상품명과 설명을 대신 써 줘요.

끝이 아닙니다. 장르를 불문하고 AI 서비스는 계속해서 나옵니다.
숙박업소 예약 플랫폼 여기어때에서는 ’바다 전경’이라고 검색해도 
’오션뷰’로 등록된 숙소를 찾아 줍니다.

지금 언급한 플랫폼들은 국내에서 규모도 매우 크고 
솔직히 안 쓰는 사람을 찾기 힘들정도로 매우 대중적인 플랫폼입니다. 
이 회사들의 공통점이 있습니다.

그게 뭐냐면, 이 중에 AI를 파는 회사는 하나도 없습니다.
메신저, 쇼핑, 중고거래, 숙박 앱이 저마다 AI 기능을 하나씩 붙이고 있는 거예요.

그러니 기획하는 사람에게 이런 요청이 오는 건 어찌보면 그냥 당연한겁니다.

“우리도 AI로 뭐 하나 붙여 볼까요? 요즘은 API로 금방 된다던데.”

붙이는 건 금방입니다.
근데 붙이기만 하면 끝일까요?

AI 코딩 도구를 만드는 회사의 상담봇이 없는 정책을 지어내 사과문이 나오기도 했고,
출처: The Register, 2025.4.18

국내에서는 31억 원을 들인 정부 상담 챗봇이 
바뀐 법을 두 달 넘게 옛 기준으로 안내한 일도 있었고요.
출처: 뉴데일리경제, 2026.10.27

AI를 누구보다 잘 아는 회사도, 
수십억을 들인 공공기관도 붙이고 난 다음에 문제를 만난 겁니다.

도대체 뭐가 문제였을까요?
이 글에서 쇼핑몰 플랫폼을 운영한다고 가정하고
그 쇼핑몰 웹사이트 안에 AI 채팅 상담봇을 기획해본다고 해볼게요.
자 그럼 현실적으로 무슨 문제가 생길지 한 번 이야기해보겠습니다.

우리도 AI 서비스로 자동화하자!

이 쇼핑몰을 운영하는 대표는 항상 고객 문의가 고민이었습니다.
CS를 담당하는 직원이 있긴한데.. 
주문 취소가 되냐느니, 환불을 받고 싶은데 정책이 어쩌고 저쩌고..
이렇게 꼭 답변이 세세하게 필요한 문의들은 주말에 쏟아졌거든요.

그렇다고 직원한테 그냥 노트북 들고 퇴근해서 
주말에 CS 들어온 거 답변만 해달라고 하기엔 좀 눈치가 보이기도 했죠.

그래서 주말에 쌓인 이 문의를 어떻게 처리할지가 늘 고민이었습니다.
갑자기 대표가 이런 말을 합니다.

“우리도 AI 채팅 봇을 하나 만들어보자. 
그거 요즘 어딜가도 다 있잖아?”

위의 얘기를 주간회의 때 해서
기획자에게 넘겼고 기획자는 그 얘기를 듣고 기획서에는 이렇게 적었어요.

“고객이 채팅창에 문의를 남기면 AI가 답변한다.”
“AI 채팅 상담 위치는 사이트 우측 하단 이모지로 등록”
“누르면 채팅창이 뜨고 AI가 모든 질문에 실시간으로 답한다.”

예전 기능이었다면 이 정도로도 큰 문제는 없었을 거예요.
지금까지의 기능은 키오스크처럼 움직였거든요.
아메리카노 버튼을 누르면 언제나 아메리카노가 나오니까,
무엇을 누르면 무엇이 나오는지만 적으면 됐습니다.

그런데 AI 기능은 키오스크보다 신입 상담원에 가깝습니다.
일처리도 가능하고 말도 그럴듯하게 하는데,
같은 질문에도 답할 때마다 표현이 조금씩 다르고,
모르는 걸 물으면 아는 척 답하기도 하죠.

출시 첫날부터, 이 한 줄로는 답할 수 없는 질문들이 하나씩 도착했습니다.

출시하고 나서 바로 생긴 일

첫날, 고객: “혹시 사람이세요?”

출시 당일 저녁, 채팅창에 이런 질문이 올라옵니다.

“답이 너무 빨라서 그런데, 혹시 사람이세요? 사람이랑 얘기하고 싶어요.”

상담봇은 친절하게 대화를 이어 갔지만,
사람에게 연결해 주는 버튼은 어디에도 없었어요.

이 질문에는 두 가지가 섞여 있습니다.
지금 AI와 대화하고 있다는 걸 알려 줬는지, 
그리고 원할 때 사람에게 갈 수 있는지예요.

앞의 것은 이제 법의 문제이기도 합니다.
2026년 1월 22일 시행된 AI 기본법에 따라, 
생성형 AI 기능을 이용자에게 직접 제공하는 사업자는 AI를 쓴다는 사실을 미리 알려야 해요.

AI 모델을 직접 만들지 않았더라도 우리 서비스 안에서 AI 기능을 제공한다면 해당될 수 있고요.
상담봇처럼 답변이 서비스 화면 안에서만 쓰인다면 이용약관이나 채팅 시작 화면에서 미리 안내하면 되고,
지금은 1년 이상의 계도기간이라 과태료 부과가 유예되어 있습니다.

출처: 뉴시스(2026.1.22)

뒤의 것은 소비자들이 이미 답을 말해 줬습니다.
서울시가 온라인쇼핑 이용자 1,000명에게 물었더니,
39.4%가 AI 챗봇에서 질문과 상관없는 획일적인 답만 돌아온다고 불만을 말했어요.
그리고 가장 원하는 개선책으로는 ‘AI 챗봇과 직원 1:1 상담을 같이 운영하는 것'(40.4%)을 꼽았습니다.
챗봇을 없애 달라는 게 아니라, 막혔을 때 사람에게 갈 길을 열어 달라는 거예요.

출처: 서울시 온라인쇼핑 이용 소비자 인식조사(2026.2.27)

AI는 아무리 잘 만들어도 틀립니다.
그래서 고객이 막혔을 때 어디로 가는지, 상담원이 없는 밤에는 무엇을 보여 줄지까지 정해 둬야 해요.

사흘째, CS팀장: “AI가 세일 상품도 환불된다고 했대요”

CS 담당자가 캡처 한 장을 들고 왔습니다.

“세일 상품은 환불 안 되는데.. AI가 30일 안이면 다 된다고 안내했네요.
고객은 그 말을 믿고 벌써 반품을 보냈던데 이거 어떻게 처리하죠?”

뭘 어떻게 처리합니까 그냥 반품해주고 
AI가 대체 어떤 정책을 보고 그랬는지 찾아야겠죠.

이런 일은 AI를 만드는 회사에서도 일어납니다.
2025년 4월, AI 코딩 도구 Cursor를 쓰던 개발자들이 
여러 기기에서 갑자기 로그아웃되는 일이 있었어요.
한 사용자가 이유를 묻자 ’Sam’이라는 이름으로 답장이 왔습니다.
새 정책에 따른 정상적인 현상이라는 취지였어요.

그런데 그런 정책은 없었습니다.
Sam은 AI 상담봇이었고, 정책은 AI가 지어낸 말이었어요.
구독을 해지하겠다는 사용자까지 나오자 Cursor 공동창업자가 직접 “그런 정책은 없다”며 사과했고,
이후 이메일 상담에 쓰는 AI 답변에는 AI라는 표시를 분명히 붙이기로 했습니다.

출처: The Register(2025.4.18)

에이 25년 4월이면 지금이랑 비교했을 때 너무 차이나는 거 아닌가요?
지금 11월 기준이면 AI가 얼마나 대단한데..

인정합니다.
그러나 1년 반이 지나 모델이 훨씬 좋아진 지금도 마찬가지예요.
지난달 국정감사에서는 고용노동부가 약 31억 원을 들여 운영하는 ‘AI 노동법 상담' 챗봇이
체불 임금을 대신 지급해 주는 제도의 한도를 '최종 3개월분, 
최대 2,100만 원'으로 안내하고 있다는 사실이 확인됐습니다.

현행 기준은 '최종 6개월분, 최대 3,150만 원'이에요. 
법이 바뀌고 두 달이 넘도록 옛 기준으로 답하고 있었던 거죠.
노무사 173명이 매달 2만 건 가까운 답변을 사후에 검수하고 있지만,
이용자가 틀린 답을 발견해도 신고할 수 있는 기능은 없었습니다.

출처: 뉴데일리경제(2026.10.27), 박정 의원실 자료

환불, 가격, 재고처럼 틀리면 돈이 오가는 질문에서
AI가 모른다고 말하지 않고 그럴듯하게 빈칸을 채우는 순간 사고가 됩니다.
그래서 어떤 질문은 정책 문서에 있는 내용으로만 답하고,
근거를 못 찾으면 추측하지 말고 사람에게 넘기라는 선이 필요해요.

닷새째, 물류팀: “고객이 누르지도 않았는데 반품이 접수됐어요”

AX에 재미 들린 대표가 이번엔 상담봇에 ‘반품 접수’ 기능도 연결했습니다.
그런데 고객은 “반품하면 배송비가 얼마예요?”라고 묻기만 했는데, AI가 접수까지 해 버린 거예요.
물류팀은 회수 기사를 보냈고, 고객은 영문을 몰랐습니다.

요즘 AI는 말만 하지 않습니다.
버튼을 누르고, 신청서를 대신 제출하기도 하죠.
그래서 AI가 답만 할지, 대신 처리까지 할지, 처리한다면 어디까지인지 선을 그어야 해요.

이 쇼핑몰이라면 주문 내역 확인은 AI가 바로 하되,
반품 접수는 고객이 ’접수하기’를 눌러야 진행되게 하고,
환불 실행은 상담원만 할 수 있게 나눌 수 있을 거예요.

일주일째, 개발자: “모델 바꿨는데, 전보다 나아진 거 맞아요?”

개발자가 더 빠르고 저렴한 AI 모델이 나왔다며 바꿔 보자고 합니다.

“근데 바꾸고 나서 전보다 나아졌는지는 뭘 보고 판단하죠?”

기획서에는 ’AI가 답변한다’만 적혀 있으니, 아무도 대답하지 못했어요.

AI 답변의 품질은 감으로 판단하기가 어렵습니다.
Stack Overflow가 지난달 발표한 2026년 개발자 설문(169개국 3만여 명)을 보면,
AI를 믿는다는 응답 중 가장 많은 건 '결과를 직접 확인할 수 있을 때 믿는다'(48%)였어요.
중요한 결정까지 AI에게 맡길 수 있다는 응답은 7%에 그쳤고요.

출처: Stack Overflow 2026 개발자 설문(2026.10.6)

매일 AI를 쓰는 개발자들도 '확인할 수 있을 때'만 믿는다면, 확인할 기준부터 있어야 합니다.
신입 상담원이 수습 기간에 시험을 보듯, AI에게도 채점 기준이 있어야 해요.

완전히 틀린 답은 바로 티가 나지만, 거의 맞는 답은 그냥 넘어가기 쉽습니다.
그래서 신입 상담원이 수습 기간에 시험을 보듯, AI에게도 채점 기준이 있어야 해요.
자주 들어오는 질문과 정답을 미리 모아 두고, 몇 개 이상 맞아야 출시한다는 선을 긋는 거죠.
모델이나 AI에게 주는 지시문(프롬프트)을 바꿀 때마다 같은 질문으로 다시 채점하고요.

한 달 뒤, 대표: “이번 달 AI 비용이 왜 이렇게 나왔죠?”

월말 청구서를 본 대표가 묻습니다.
알고 보니 몇몇 고객이 상담봇과 수십 번씩 대화를 이어 갔고, 
대화가 길어질수록 사용료도 불어났던 거예요.

기존 기능은 사용자가 버튼을 한 번 더 누른다고 비용이 눈에 띄게 늘지 않았습니다.
외부 AI 모델을 쓰는 기능은 달라요.

답변 하나하나에 사용료가 붙고, 대화가 길어질수록 비용도 커집니다.
그래서 고객 한 명이 하루에 몇 번까지 물을 수 있는지, 
대화가 길어지면 어디서 끊을지를 숫자로 정해야 해요.

사용자에게 직접 돈을 받는 AI 기능이라면, 한도를 어떻게 보여 줄지도 기획입니다.

쇼핑몰 상담봇은 고객에게 따로 돈을 받지 않으니 비용은 회사가 냅니다.
그래도 한도에 걸린 고객에게 무엇을 보여 줄지는 똑같이 정해야 해요.
아무 안내 없이 답이 멈추면, 고객 눈에는 그냥 고장 난 상담봇이니까요.

기획서를 이렇게 바꿔보는 건 어떨까요

다섯 사람의 질문을 받고 나서, 쇼핑몰 팀의 기획서는 한 줄에서 다섯 칸으로 늘었습니다.
왼쪽은 칸 이름, 오른쪽은 이 상담봇에 실제로 적은 내용이에요.

상담봇이 아니어도 같은 질문을 받습니다

처음에 본 대화 요약, 후기 요약, 판매글 대신 쓰기, 문장으로 검색하기도 다르지 않아요.
우리 서비스에 비슷한 기능을 붙인다면, 출시 전에 이런 질문부터 던져 볼 수 있습니다.

기능은 달라도 답을 적을 칸은 같습니다.
합격선, 모르면 멈출 범위, 틀렸을 때 갈 곳, 대신 해도 되는 일, 비용과 한도예요.

출시 전에 이 질문들을 먼저 받아 보려면

쇼핑몰 팀이 겪은 일에는 공통점이 하나 있습니다.
질문이 전부 출시 뒤에 왔다는 거예요.
고객, CS팀장, 물류팀, 개발자, 대표가 각자 자기 자리에서 같은 기획서를 다시 열었죠.

매니패스트의 ’검토하기’는 이런 질문을 출시 전에 먼저 받아 보는 방법이 될 수 있어요.
PRD와 기능명세서를 개발, 사업, UX, 디자인, QA, 보안 관점에서 점검하고,
의견마다 판단 근거와 관련 항목을 연결해 줘요.
의견을 보류할지 해결할지는 직접 고르고, 매니와 대화하면서 반영하면 됩니다.

질문에 대한 답을 정했다면, 기획서 안에 적을 자리도 이미 있어요.

합격선은 요구사항의 ’수용 기준’에
요구사항마다 충족됐다고 판단할 조건을 체크리스트로 적는 칸이 있습니다.
“자주 묻는 질문 50개 중 48개 이상 정답” 같은 출시 기준을 남겨 두면, 
모델을 바꿀 때도 무엇으로 다시 확인할지 바로 찾을 수 있어요.

멈출 범위, 갈 곳, 대신 해도 되는 일은 ’개발 준비 슬롯’에
비즈니스 규칙에는 답하지 않을 범위를, 표시에는 AI 안내 문구와 상담원 연결 버튼을,
예외에는 상담원에게 넘기는 조건을, 권한 & 접근에는 반품 접수와 환불 실행을 
누가 하는지를 나눠 적습니다.

비용 한도는 ’프로덕트 정책’에
하루 질문 한도처럼 여러 기능에 함께 걸리는 규칙은 정책으로 따로 묶어 둡니다.

물론 매니패스트가 AI 상담봇의 답을 대신 채점해 주지는 않습니다.
질문 50개로 실제 답변을 시험하는 일은 개발 단계에서 따로 해야 해요.
다만 그 기준이 기획서에 남아 있으면,
MCP로 연결한 Cursor나 Claude Code 같은 AI 코딩 도구도 같은 기준을 읽고 작업할 수 있습니다.

마무리하며

대화 요약도, 후기 요약도, 판매글 대신 쓰기도 이제 특별한 기능이 아닙니다.
AI 기능을 붙이는 일은 앞으로 더 쉬워질 거예요.

그래서 남는 건 하나입니다.
위의 골치 아픈 질문들을 출시 뒤에 받을지, 출시 전에 기획서에서 먼저 답해 둘지예요.

신입 상담원에게 첫날부터 “알아서 잘 응대해 주세요”라고만 하는 회사는 없습니다.
어떤 답이면 되는지, 모르면 누구에게 넘길지, 어디까지 처리해도 되는지부터 알려 주죠.
AI 기능에도 그 업무 매뉴얼이 필요합니다.

필요한 안건만 기획서에 남기고 
개발까지 같은 기준으로 이어 가고 싶다면, 매니패스트에서 시작해 보세요.