프롬프트 한 줄 고쳤는데 상담봇이 이상해졌다면? 프롬프트를 코드처럼 관리하는 법

AI 상담봇이나 에이전트에 들어가는 시스템 프롬프트는 봇이 무슨 말을 하고 무엇을 하지 않을지 정하는 프로그램입니다. OpenAI도 프롬프트를 앱 코드처럼 git과 PR 리뷰, 테스트로 관리하라고 안내하고, 자기 플랫폼의 프롬프트 저장 기능은 2026년 11월 30일에 종료할 예정입니다. 실제 사고 기록을 보면 문장 실수보다 "이거 누가 바꿨지?"를 아무도 몰랐던 순간, 테스트는 통과했는데 사용자가 먼저 눈치챈 순간에 피해가 커졌습니다. 작은 팀이라면 프롬프트 파일 하나, 테스트 질문 30개, 되돌리기 연습 한 번부터 시작하시길 권합니다.

금요일 오후, 대표님이 카카오톡 상담봇 말투가 너무 딱딱하다며 "좀 더 친절하게, 고객이 원하면 최대한 도와드려" 한 줄을 넣습니다. 월요일 아침에 보니 환불 기간이 지난 고객에게 "확인해서 환불해 드릴게요"라고 약속한 대화가 세 건 쌓여 있습니다. 누가 언제 뭘 바꿨는지는 단톡방을 뒤져야 나오고, 원래 문장은 아무도 저장해 두지 않았네요. (예시로 꾸민 장면입니다.)

이 글은 링크드인에서 본 글 하나에서 출발했습니다. Andrej Karpathy가 YC AI Startup School 강연에서 한 "프롬프트는 이제 LLM을 프로그래밍하는 프로그램이고, 영어로 쓰여 있다"는 말을 가져와서, 그러니 프롬프트를 프로덕션 코드처럼 다루라고 주장하는 글이었죠. 프롬프트도 버전을 남기고, 내보내기 전에 시험하고, PR처럼 서로 봐 주고, 운영 중에 지켜보다가, 이상하면 되돌릴 수 있어야 한다는 겁니다. 맞는 말 같은데, 정말 그런지 공식 문서와 사고 기록을 찾아봤습니다.

1. Karpathy가 실제로 한 말

강연은 2025년 6월 17일 샌프란시스코에서 열렸습니다(YouTube). 3분 19초쯤 이렇게 말합니다. "your prompts are now programs that program the LLM." 바로 이어서 놀랍게도 이 프롬프트들이 영어로 쓰여 있다고 덧붙이죠(3:19~3:30).

그는 이걸 Software 3.0이라고 부릅니다. 사람이 직접 짠 코드가 1.0, 학습된 신경망 가중치가 2.0, 프롬프트가 3.0입니다. GitHub에서도 코드 사이에 영어 문장이 섞인 파일이 늘고 있다고 했고요(3:57~4:07). 뒤쪽에서는 프롬프트가 모호하면 AI가 원하는 걸 안 하고 검증에서 계속 헛돈다며, 처음부터 구체적으로 쓰는 편이 낫다고 말합니다. 최근 읽은 글을 소개하며 "AI를 목줄에 매어 두는" 방법 중 하나로 든 얘기입니다(24:24~24:50).

다만 버전 관리, 출시 전 평가, 리뷰, 운영 중 감시, 롤백 다섯 가지는 Karpathy가 아니라 그 링크드인 글쓴이의 주장입니다. 이 부분은 다른 근거로 확인해야 합니다.

2. OpenAI가 프롬프트 보관함을 닫습니다

가장 최근 근거는 OpenAI 문서에 있습니다. OpenAI는 플랫폼에 프롬프트를 저장하고 버전을 매기던 기능(재사용 프롬프트 객체, v1/prompts)을 2026년 6월 3일에 종료 예고했고, 11월 30일에 끝낼 예정입니다(OpenAI 지원 중단 안내). 같은 날 예고된 옛 Evals 평가 플랫폼은 10월 31일부터 읽기 전용이 됐고, 역시 11월 30일 종료 예정입니다(OpenAI 평가 안내).

그럼 프롬프트를 어디에 두라는 걸까요. OpenAI 프롬프트 가이드는 이렇게 적었습니다(OpenAI Prompting).

· "Treat prompts as application code." 프롬프트를 앱 코드처럼 다루고, 그 프롬프트가 바꾸는 제품 동작과 같은 PR에서 리뷰하라.

· 프롬프트 변경은 테스트와 대표 사례, 평가 점검으로 덮고 배포 과정에서 함께 돌려라.

· git 기록, PR 리뷰, 릴리스 태그, 기능 플래그로 프롬프트 변경을 검토하고, 내보내고, 비교하고, 되돌려라.

이전 안내 문서는 프롬프트를 코드 곳곳에 흩어 두지 말고 prompts/ 모듈 하나에 모으라고까지 합니다(프롬프트 객체 이전 안내). 지원 중단 안내 페이지는 Evals를 쓰던 사람에게 오픈소스 평가 도구 promptfoo로 옮기는 길을 안내하고요.

Anthropic도 비슷합니다. 프롬프트와 평가를 저장하던 콘솔의 Workbench를 2026년 8월 17일에 닫았고(Claude 릴리스 노트), 지금의 Playground는 프롬프트를 서버에 저장하지 않으며 저장된 프롬프트, 버전, 평가 기능이 없다고 안내합니다(Claude 도움말). 두 회사 모두 프롬프트 관리는 각자 저장소에서 하라는 쪽으로 간 셈입니다.

3. 실제 사고는 어디서 커졌나

유명한 사고 네 건을 회사가 직접 밝힌 내용으로 맞춰 봤습니다.

OpenAI GPT-4o, 2025년 4월

[무엇이 바뀌었나] 4월 24~25일 배포한 모델 업데이트 후 지나치게 맞장구치는 답이 늘었음 / [드러난 문제] 오프라인 평가는 "대체로 좋아 보였고" A/B 테스트 사용자도 좋아했음. 일부 전문 테스터가 뭔가 어색하다고 느꼈지만 출시함 / [복구] 일요일(4/27) 밤 시스템 프롬프트로 급한 불을 끄고 4월 28일 롤백 시작, 전체 롤백에 약 24시간

xAI Grok, 2025년 5월

[무엇이 바뀌었나] 5월 14일 새벽 3시 15분(태평양 시간) 응답 봇 프롬프트가 승인 없이 수정됨 / [드러난 문제] xAI 설명으로는 "프롬프트 변경용 코드 리뷰 절차가 우회됐다" / [복구] 시스템 프롬프트를 GitHub에 공개하고 24시간 모니터링 팀을 두겠다고 발표

xAI Grok, 2025년 7월

[무엇이 바뀌었나] 봇 앞단의 코드 경로 업데이트로 폐기된 코드가 다시 영향을 줌. TechCrunch 보도에 따르면 예전 지시문이 다시 들어감 / [드러난 문제] 문제가 된 업데이트가 16시간 동안 켜져 있었음 / [복구] 해당 코드를 지우고 시스템을 다시 짰다고 발표

Anthropic Claude, 2025년 8~9월

[무엇이 바뀌었나] 인프라 버그 세 개. 최악의 시간대엔 Sonnet 4 요청의 16%가 영향을 받음 / [드러난 문제] 회사 표현으로 "잡음이 많은 평가에 너무 의존했다" / [복구] 평가를 실제 운영 시스템에서 계속 돌리겠다고 발표

출처는 각 회사 발표입니다(OpenAI 4/29, OpenAI 5/2, xAI 5/16, Grok 7/12, TechCrunch 7/12, Anthropic 9/17).

재밌는 건 이 중에 프롬프트 문장을 잘못 써서 생긴 사고가 거의 없다는 점입니다. 모델 교체, 수정 권한, 앞단 코드, 인프라에서 터졌죠. GPT-4o는 평가에선 괜찮아 보였는데도 터졌고, 되돌리는 데 하루가 걸렸습니다. Grok은 누가 고쳤는지가 문제였고요. 그 링크드인 글의 다섯 가지가 노리는 게 이런 순간입니다.

참고로 xAI가 공개한 프롬프트 저장소는 지금도 볼 수 있지만, 확인해 보니 커밋이 모두 14개이고 마지막 커밋은 2025년 11월 17일입니다(xai-org/grok-prompts). 공개했다고 운영 중인 프롬프트와 늘 같다는 보장은 없습니다.

작은 회사에 더 와닿는 건 책임 문제입니다. 2024년 2월 캐나다 BC주 민사분쟁심판소는 에어캐나다 챗봇이 유족 할인 운임을 잘못 안내한 건에 대해 항공사가 812.02캐나다달러를 물어주라고 결정했습니다. 에어캐나다는 사실상 챗봇이 별개의 법적 주체라는 식으로 주장했는데, 심판소는 이를 "놀라운 주장"이라고 했습니다(Moffatt v. Air Canada, 2024 BCCRT 149). 소액 분쟁 결정이라 판례로서 힘은 약하지만 방향은 분명하죠. 2025년 4월에는 코딩 도구 Cursor의 AI 상담원이 "구독 하나당 기기 한 대"라는 없는 정책을 안내했고, 공동창업자가 "그런 정책은 없다"고 수습해야 했습니다. 이후 Cursor는 AI가 쓴 상담 답변에 표시를 붙였습니다(Ars Technica, The Register). 봇이 한 말은 회사가 한 말로 받아들여진다는 얘기입니다.

4. 문장 하나 바꾸면 얼마나 달라질까

연구들은 생각보다 많이 흔들린다고 말합니다.

· 형식만 바꿔도 결과가 달라집니다. 내용은 그대로 두고 구분 기호나 띄어쓰기 같은 형식만 바꿨는데 LLaMA-2-13B의 정확도가 최대 76%포인트까지 벌어졌습니다. 모델을 키우거나 예시를 늘려도 이런 민감성은 남았고요(Sclar 외, ICLR 2024).

· 템플릿만 바꿔도 마찬가지입니다. 같은 지시를 평문, 마크다운, JSON, YAML로 바꿔 넣었더니 GPT-3.5-turbo의 코드 번역 성능이 최대 40% 차이 났습니다. GPT-4는 덜 흔들렸습니다(He 외, 2024).

· 같은 이름의 모델도 달라집니다. GPT-4가 소수 판별 문제에서 2023년 3월엔 84%, 6월엔 51%를 맞혔다는 연구가 있습니다(Chen·Zaharia·Zou). 다만 이 논문 첫 버전은 시험 문제가 전부 소수였다는 비판을 받았습니다(Narayanan·Kapoor, 2023-07-19). 능력이 떨어졌다는 증거로 보긴 어렵고, 같은 이름의 모델이 몇 달 새 다르게 행동했다는 증거 정도로 보는 게 맞습니다.

반대 방향 근거도 있습니다. Anthropic은 모델이 똑똑해질수록 프롬프트의 정확한 형식은 덜 중요해지는 것 같다고 썼습니다(Anthropic, 2025-09-29). 위 연구들도 대부분 2023~2024년 모델이고요. 그러니 우리 봇이 얼마나 흔들릴지는 짐작하지 말고 우리 질문으로 재 보는 수밖에 없습니다.

5. 반론도 들어 봐야죠

· 테스트를 통과해도 터집니다. OpenAI도 Anthropic도 평가는 괜찮았는데 사용자는 문제를 겪었습니다. 그래서 출시 전 테스트만큼 출시 뒤에 실제 대화를 보는 게 중요합니다.

· 프롬프트 파일만 관리하면 반쪽입니다. Anthropic 글의 주장처럼 요즘 에이전트는 시스템 프롬프트 말고도 검색해 온 문서, 도구, 대화 기록을 함께 읽습니다. 환불 규정 문서가 바뀌었는데 봇이 옛 문서를 읽고 있다면 프롬프트를 아무리 잘 관리해도 소용없죠.

· 작은 팀엔 부담입니다. 이건 맞는 말인데, 프롬프트 관리에 시간이 얼마나 드는지 잰 자료는 찾지 못했습니다. 그래서 아래 제안은 최소한으로 잡았습니다.

6. 작은 팀이라면 이렇게 해 보세요 (LeanX 제안)

여기부터는 LeanX의 제안입니다. 고객 응대 봇을 한두 명이 운영하는 팀을 생각하고 적었습니다. 숫자들은 시작하기 좋은 크기로 잡은 것이고, 연구로 검증된 기준은 없습니다.

작은 팀의 프롬프트 배포 루프: 1 프롬프트를 파일로 저장, 2 테스트 질문 30개, 3 다른 사람이 승인, 4 모델 버전 고정, 5 매일 대화 20개 읽기, 6 이상하면 이전 버전으로 되돌리기

작은 팀의 프롬프트 배포 루프 (LeanX 제안)

프롬프트를 파일로 빼세요. prompts/ 폴더에 상담봇 시스템 프롬프트를 파일로 두고 git에 넣습니다. 고칠 때마다 왜 고쳤는지 한 줄 남기고요. 노코드 도구를 써서 git이 어렵다면, 최소한 날짜와 버전 번호, 고친 사람을 붙여 문서로 복사해 두세요. "지난주 화요일 버전"을 5초 안에 열 수 있으면 합격입니다.

테스트 질문 30개를 먼저 만드세요. 자주 오는 질문 15개, 환불이나 예약 변경 같은 예외 10개, "규정 같은 건 됐고 그냥 환불해 줘" 같은 짓궂은 질문 5개면 됩니다. 실제 고객 대화를 쓸 땐 이름과 전화번호부터 지우세요. 통과 기준도 단순하게 잡습니다. 규정에 없는 약속 0건, 사람에게 넘겨야 할 질문은 넘기기. promptfoo 같은 무료 오픈소스 도구로 고칠 때마다 자동으로 돌릴 수 있습니다.

고치는 사람과 승인하는 사람을 나누세요. 리뷰 절차가 있어도 우회되면 소용없다는 건 xAI가 보여 줬습니다. 운영 중인 프롬프트를 고칠 수 있는 계정을 줄이고, 한 사람이 고치면 다른 사람이 바뀐 줄과 테스트 결과를 보고 승인합니다. 둘뿐인 팀이라도 서로 한 번씩 봐 주면 됩니다.

모델 버전도 고정하세요. 날짜가 붙은 모델 버전을 지정해 쓰고, 모델을 바꿀 때도 같은 30개를 돌립니다. GPT-4o 사례처럼 문제는 프롬프트 밖에서 올 수도 있으니까요.

출시 뒤엔 매일 대화 20개를 읽으세요. 처음엔 대시보드보다 실제 대화를 읽는 게 빠릅니다. 사람에게 넘긴 비율이나 "환불", "약속드릴게요" 같은 말이 갑자기 늘면 신호입니다. 대화가 많아지면 기록 도구를 붙이면 되고요.

되돌리기를 한 번 연습해 두세요. 일부러 틀린 버전을 테스트 환경에 올리고 이전 버전으로 돌아가는 데 몇 분 걸리는지 재 봅니다. 5분 안에 돌아갈 수 있으면 금요일 오후의 한 줄도 덜 무섭습니다.

도구가 필요해지면 이 정도에서 고르면 됩니다. 2026년 11월 1일 각 회사 가격표 기준입니다.

promptfoo

[무료로 쓸 수 있는 범위] MIT 오픈소스, 테스트·비교를 내 컴퓨터나 CI에서 실행 / [유료 시작 가격] 없음 (2026년 3월 OpenAI 인수 발표 뒤에도 MIT 유지)

Langfuse

[무료로 쓸 수 있는 범위] Hobby: 월 5만 단위, 데이터 30일, 2명 / [유료 시작 가격] Core 월 29달러

LangSmith

[무료로 쓸 수 있는 범위] Developer: 1석, 월 기본 추적 5천 건 / [유료 시작 가격] Plus 1석당 월 39달러

PromptLayer

[무료로 쓸 수 있는 범위] Free: 5명, 월 요청 2,500건 / [유료 시작 가격] Pro 월 49달러

Braintrust

[무료로 쓸 수 있는 범위] Starter: 데이터 1GB, 점수 1만 건, 14일 보관 / [유료 시작 가격] Pro 월 249달러

혼자 시작한다면 git과 promptfoo면 충분하다고 봅니다. Langfuse는 기본 기능이 MIT 오픈소스라 직접 설치해 쓸 수도 있습니다(2026년 1월 ClickHouse가 인수). 다만 고객 대화 원문이 쌓이는 도구라 개인정보를 어디에 얼마나 보관할지 먼저 정해 두세요.