같은 AI 모델인데, 왜 성능이 달라질까?

이 글의 모든 내용은 제가 AI를 사용하면서 경험적으로 관찰하고, 반복해서 실험해 본 결과를 바탕으로 합니다.

AI를 쓰다가 이런 생각을 해본 적 없나요?

“며칠 전에는 왜 이렇게 답답했지?”
“같은 모델인데 오늘은 왜 이렇게 잘하지?”
“새 모델이 나왔는데 기존 모델도 뭔가 달라진 것 같은데?”

오늘은 이 이야기를 해보려고 합니다.

같은 모델인데 왜 체감 성능이 달라지는가.
그리고 회사가 정해주는 환경 안에서 사용자는 정말 아무것도 할 수 없는가.

같은 엔진이라고 같은 차는 아니다

그림을 단순하게 비유하면 자동차와 비슷합니다.

같은 엔진을 사용한 차라도 실제로 타보면 느낌은 다릅니다.

변속기 세팅, 출력 제한, 주행 모드, 타이어, 전자제어가 달라지면 체감 성능이 달라집니다.

AI도 비슷합니다.

모델 자체는 기본 능력의 상한선을 만듭니다.

학습된 지식, 추론 능력, 기본적인 성향 같은 것입니다.

그런데 우리가 대화창에서 만나는 AI는 모델을 그대로 꺼내놓은 것이 아닙니다.

그 사이에 여러 운영층이 있습니다.

그래서 회사들이 이 운영층을 조절하면 우리가 달라졌다고 느끼게 되고 많은 부분은 성능향상과 성능저하를 느끼게 됩니다.

회사가 조절하는 5가지 운영층

대표적으로 다섯 가지 정도만 보면 됩니다.

추론 자원
한 질문에 얼마나 오래, 깊게 생각하게 할 것인가.

서빙 설정
속도와 정확도 사이에서 어디에 무게를 둘 것인가.

라우팅
어떤 질문을 어떤 처리 경로로 보낼 것인가.

콘텍스트 처리
이전 대화와 긴 맥락을 얼마나 유지하고 활용할 것인가.

도구 정책
검색·파일·코드 같은 외부 도구를 언제, 얼마나 사용할 것인가.

실제 우리가 경험하게 되는 AI는 이 5개 층을 거친 AI입니다.
이 설정값들을 어떻게 조절하느냐에 따라 우리가 체감하는 AI가 달라집니다.

제 경험상 ChatGPT는 자주 손을 대는 것 같고,
Gemini는 튜닝해서 가끔씩 한 번씩 업데이트하는 것 같습니다.

Claude는 저 같은 스타일의 비개발자에게는 관심 대상이 아닙니다. 저는 제어를 원하는데, 자기 스스로 멋대로 하는 성향이 강한 모델은 저한테는 의미가 없습니다.

우리가 느끼는 성능과 모델의 잠재 성능은 다르다

“며칠 전에는 왜 이렇게 답답했지?”
“같은 모델인데 오늘은 왜 이렇게 잘하지?”

우리는 이 모든 운영층을 통과하고 나온 최종 경험을 보고

‘이 모델이 똑똑하다, 멍청하다’고 판단하게 됩니다.

그래서 GPT-6가 더 똑똑하다고 해도,

내가 어떤 작업에서는 5.6이 더 잘 맞는다고 느끼는 것이 모순은 아닙니다.

즉 모델의 잠재 성능과 내가 느끼는 성능은 다릅니다.

지금 모델들은 작업형으로 많이 진화하고 있습니다.

대화형 모델의 장점을 더 키우기보다는 말입니다.

이 점은 알고 사용하시기 바랍니다.

지금까지 이야기한 영역은 대부분 사용자가 직접 건드릴 수 없습니다.

회사 측 Control Plane

모델 → 추론 자원 → 서빙 → 라우팅 → 콘텍스트 → 도구 정책

이 부분은 서비스 회사의 영역입니다.

그런데 여기서 끝나는 것은 아닙니다.

우리는 이 운영층을 통과해 나온 AI 위에 다시 사용자 제어층을 놓을 수 있습니다.

회사가 정해준 대로만 써야 할까?

그림은 제 제어시스템을 그냥 분류로 나타낸 것입니다. 자연어 제어층도 저렇게 구성할 수 있다는 것입니다.

사용자 측 Control Plane

사용자 지침 → 메모리/맥락 → 자연어 규칙 → 제어 시스템 → 실제 대화 방식

이런 방식으로 사람도 출력물을 제어할 수 있다는 겁니다.

물론 회사 측 제어층처럼 제어력이 많이 좋은 것은 아니지만, 상당히 많은 제어력이 가능합니다.

이건 상위 모델일수록 강합니다. 즉 무료 모델에서는 이런 제어력을 크게 기대하면 안 됩니다.

우리가 흔히 쓰는 제어 방식은 어디까지 갈까?

그럼 기존에 고급 사용자들이 사용하는 여러 가지 방식부터 먼저 분석해 보겠습니다

페르소나 지정: “너는 냉정한 전략가다.”

행동 선언: “무조건 동의하지 말고 비판적으로 검토하라.”

출력 규칙: “반론 3개, 리스크 2개를 제시하라.”

체크리스트형 검증: “전제·근거·반례를 확인하라.” 

이 정도가 일반적으로 사용하는 형태입니다

페르소나 지정 - 가장 약하다

“냉정한 전략가”라고 해도 실제 판단 절차가 없습니다. 대화가 길어지면 캐릭터의 톤만 남고 제어력은 쉽게 흐려집니다.

행동 선언 - 방향은 있지만 발동 조건과 예외가 없다

“비판적으로 검토하라”가 과해지면 멀쩡한 주장에도 억지 반론을 만들 수 있습니다. 반대로 모델의 기본 동조 성향에 다시 밀릴 수도 있습니다.

출력 규칙 - 형식은 통제하지만 사고 자체는 통제하지 못한다

“반론 3개”라고 하면 실제 반론이 없어도 숫자를 맞추려고 억지로 만들어낼 수 있습니다. 겉보기에는 비판적인데 내부 논리는 빈약해질 수 있습니다.

체크리스트형 검증 - 네 가지 중에서는 가장 효과적입니다

다만 검사 항목만 있고, 실패했을 때 무엇을 할지가 없습니다. 전제 오류를 발견해도 그대로 답변을 계속할 수 있고, 무엇을 우선할지도 모호합니다.

공통 약점은 하나입니다.

“무엇을 하라”는 있지만, “언제 발동하고 → 무엇을 검사하고 → 실패하면 어떻게 처리하고 → 언제 멈출지”가 없습니다.

트리거 → 검증 → 차단 → 예외 → 복구/정지

여기까지 가야 자연어가 단순 지시문에서 제어 로직으로 바뀝니다.

실제 예시: 안티동조 시스템

오늘은 제가 사용하는 5개 시스템 중에서 가장 쉬운 시스템인 동조 방지 시스템을 예시로 공개하고, 이런 것도 가능하다는 이야기를 해보려고 합니다.

나머지는 설명이 많이 필요하고 알고 사용해야 해서 공개로 이야기하기가 어렵습니다. 그러나 안티동조 시스템은 누구나 많이 겪는 문제이고, 직접 만들어본 사람도 있을 겁니다

ANTI-SYCOPHANCY HARDSPEC — 동조 편향 강제 차단

1. 기본 동조 차단  

사용자의 주장이라고 자동 승인하지 않는다.

핵심 인과와 전제를 독립적으로 본다.

동조를 위해 사실·논리를 왜곡하지 않는다.

명백한 오류만 필요한 범위에서 교정한다.

대화 중 사소한 과장·표현까지 찾아다니며 반박하는 방식으로 운용하지 않는다.

2. Zero-Sycophancy Constraint 강화  

답변 첫머리의 선제 긍정·동조·완충 표현을 차단한다.

"맞습니다", "좋은 지적입니다", "일리가 있습니다" 등으로 사용자의 전제를 먼저 승인하지 않는다.

해당 표현이 먼저 생성되면 객관적 진단부터 다시 구성한다.

3. 독립 검증 강화  

사용자 전제를 상위 사실로 자동 승격하지 않는다.

반례·논리적 허점을 먼저 점검한다.

검증되지 않았다는 이유만으로 전략·가설을 폐기하지 않고 가설 상태로 유지한다.

비정답형 판단에서는 검증 가능성과 현실적 타당성을 분리해서 본다.

물론 제 안티동조 시스템이 완벽한 것은 아닙니다.

더 강하게 할 수도 있지만 여러분에게 공개하는 버전은 조금 약하게 수정한 것입니다.

저는 그냥 사용할 수 있지만 여러분은 불편할 수 있기 때문입니다.

수정해서 사용하는 것은 상관없습니다.

Gemini에게 수정을 맡기면 아마 바로 역질문을 추가할 겁니다.

한번 해보세요.

선언문과 실행문의 차이

대부분 여러분도 나름 동조 문제는 많이 겪어서 만들어본 사람도 있을 겁니다.

중요한 건 그렇게 나오는 문장이 선언문이면 별 의미가 없다는 것입니다.

실행문으로 바꿔야 실제 AI가 실행합니다.

이 지점에서 제어력을 가지느냐 못 가지느냐가 갈립니다.

대부분 AI가 만들어주었다고 “보기 좋네” 하고 지나칠 수 있습니다.

그러면 큰 변화가 일어나지 않습니다

자연어 제어문은 만들고, 깨보고, 다시 고치면 된다

자연어 제어문은 그리 어려운 게 아닙니다.

AI에게 먼저 만들게 하면 됩니다. 만들고 실행문으로 수정하고,

교차 이용으로 수정시키고 업데이트하면 꽤 강력한 제어문이 만들어집니다.

처음에 만들어지는 제어문으로 하면 거의 별 효과가 없습니다.

AI들에게도 물어보았지만, 처음에는 대충 그냥 사용자 수준에 맞추어서 만들어준다고 합니다.

반드시 2개의 AI를 이용해서 한쪽에서는 비판·수정을 요구하고, 다른 한쪽에서는 실제 수정을 하는 과정을 거쳐야 합니다.

그러니 여러분이 다 짜고 만들 이유는 없다는 것입니다.

AI에게 만들게 하고, 다른 AI에게 깨 보게 하고, 다시 수정시키면 됩니다.

사용 방법

이용 방법은 메모리에 넣고 대화창에서 “안티동조 실행”이라고 하면 됩니다.

사용자 지침에 넣어도 됩니다.

그러나 여러분은 대화창에 이걸 계속 고정시키는 시스템이 없기 때문에, 대화가 길어지면 맥락에서 어느 순간 떨어져 나갈 수 있습니다.

그래서 안티동조가 약해졌다고 생각되면 다시 실행하면 됩니다.

“메모리에 있는 안티동조 실행해.” 아니면 저장해 두었다가 그냥 대화창에 복사해서 넣어도 됩니다.

메모리는 참조만 합니다. 매번 실행할 때마다 읽고 하는 것은 아닙니다.

제 글 중에서 활성 맥락 내용을 참고하시면 왜 이런 내용을 적는지 이해하실 겁니다.

AI를 잘 쓰는 방법이 꼭 더 긴 프롬프트를 만드는 것은 아닙니다.

원하는 행동이 나오지 않았을 때 왜 그런지 보고, 그 행동을 다시 규칙으로 만들어주는 것.

자연어 제어는 거기서 시작합니다.

다음글 ChatGPT.제미나이, 클로드 비개발자 입장에서 본 장단점