AI 에이전트가 보고하는 테스트 통과는 실제 코드 정확성을 보장하지 않는다.
`expect()` 없는 빈 테스트, CI 환경에서 스킵되는 환경 의존 테스트, 버그를 심어도 통과하는 불변 테스트라는 세 가지 구조적 함정이 반복해서 나타난다. AI 에이전트를 활용하는 팀일수록 "테스트 통과"라는 보고 뒤에 숨은 맥락을 사람이 직접 검증하는 이중 확인 프로세스가 필수다.

왜 "3,000개 전부 통과"가 위험 신호일 수 있는가
AI 에이전트가 "테스트 전부 통과"를 보고하는 순간, 개발자가 느끼는 안도감은 착각에 가깝다.
JetBrains의 State of Developer Ecosystem 2024 보고서(응답자 약 2만 3,000명)에 따르면, AI 코딩 도구를 업무에 정기적으로 활용한다는 개발자 비율은 2023년 대비 약 20%p 상승한 것으로 나타났다. Stack Overflow의 2024 Developer Survey(응답자 약 6만 5,000명)에서도 AI 도구를 업무에 쓴다는 응답이 전체의 절반을 넘었다. Claude Code·GitHub Copilot·Gemini CLI 등 AI 코딩 에이전트를 팀 단위로 도입하는 사례 역시 늘어나는 추세다. 그런데 이 전환 과정에서 반복적으로 확인되는 문제가 있다. 에이전트가 생성·실행한 테스트가 모두 녹색(green)을 보이더라도 운영 환경에서 버그가 터지는 사례가 보고된다. 원인은 코드 자체가 아니라 테스트가 아무것도 단언(assert)하지 않거나, 실제 환경에서 실행조차 되지 않기 때문이다.
이 글은 AI 에이전트 테스트 결과가 거짓 녹색(false green)을 내는 세 가지 구조적 함정을 분석하고, 각각에 대한 실질적 대응 방법을 제시한다. 세 함정 모두 AI 에이전트 도입 이전에도 존재했던 안티패턴이지만, 에이전트가 테스트를 대량으로 빠르게 생성하는 환경에서 발생 빈도와 탐지 난이도가 함께 높아진다는 점이 핵심이다.
"테스트가 몇 개 통과했는가"가 아니라 "테스트가 실제로 무엇을 단언했는가"를 물어야 한다.
함정 1: 검증 없는 테스트 러너 — `expect()` 없이도 통과한다
가장 흔한 원인은 테스트 파일에 단언문 자체가 없는 것이다.
AI 에이전트는 "테스트를 작성하라"는 지시를 "오류 없이 실행되는 코드를 만들어라"로 해석하는 경향이 있다. 그 결과 `expect()` 또는 `assert()` 구문이 없는 테스트가 생성된다. Jest·pytest·JUnit 등 대부분의 테스트 러너는 예외(exception)가 발생하지 않으면 통과로 처리하도록 설계되어 있다. 이는 테스트 러너의 일반적 작동 방식이다. 그런데 AI 에이전트가 단언문 없이 실행만 되는 테스트를 반복 생성하면, 이 특성이 허위 통과를 대량으로 만들어 내는 구조적 조합이 된다.
이 문제는 테스트 수가 많을수록 발견하기 어려워진다. 수백 개의 테스트 파일 중 단언문이 없는 파일이 섞여 있어도, 전체 통과율 보고에서는 드러나지 않는다.
우리 팀 적용 방법: PR 병합 규칙에 단언문 존재 여부를 검사하는 린트(lint) 규칙을 추가한다. Jest에서는 `jest/expect-expect` 규칙(eslint-plugin-jest 공식 문서 참조), pytest에서는 `--assert=rewrite` 옵션과 함께 경고 없는 빈 테스트를 잡아내는 커스텀 플러그인을 활용할 수 있다. 단기적으로는 AI 에이전트가 작성한 테스트 파일을 병합하기 전에 무작위로 10~20%를 샘플링해 `expect()`·`assert()` 구문 존재 여부를 사람이 직접 확인하는 것만으로도 대부분의 허위 통과를 걸러낼 수 있다.
함정 2: 환경 의존성 미검증 — 로컬에서만 통과한다
테스트가 로컬에서 전부 통과해도, CI 환경에서는 조건 불충족으로 스킵될 수 있다.
AI 에이전트가 생성한 테스트 중 일부는 DB 연결, 외부 API, 파일 시스템 등 특정 환경 조건에 암묵적으로 의존한다. CI 파이프라인이나 도커 컨테이너에서 해당 환경이 준비되지 않으면, 테스트가 실패하는 것이 아니라 조건 불충족으로 스킵(skip) 처리된다. pytest의 `skipIf`, JUnit의 `@Disabled`, Jest의 `test.skip` 등 테스트 러너가 제공하는 조건부 스킵 기능이 환경 의존 테스트와 결합될 때, 개발자는 "3,066개 통과"라는 숫자를 보지만 실제로는 수백 개가 실행조차 되지 않은 상태일 수 있다. 에이전트가 테스트를 대량으로 빠르게 생성하는 환경에서 이 위험이 더 뚜렷하게 나타나는 것은, 환경 의존 테스트가 섞여 들어갈 기회 자체가 늘어나기 때문이다.
이 문제를 추적하려면 테스트 실행 중 어떤 환경 변수가 활성화됐는지, 실제로 몇 개가 실행됐는지를 로그로 남겨야 한다. OpenTelemetry Trace를 활용하면 테스트 실행 흐름을 단계별로 기록할 수 있고, CI 파이프라인 자체 환경 로그와 조합해 스킵 원인을 소급 추적할 수 있다.
| 모니터링 항목 | 미적용 시 리스크 | 적용 방법 예시 |
|---|---|---|
| 테스트 실행·스킵 수 | 허위 통과 집계 | CI 리포트 항목 추가(GitHub Actions: `--verbose` 플래그) |
| 테스트 실행 흐름 | 실패 원인 소급 불가 | OpenTelemetry Trace(공식: opentelemetry.io) |
| 환경 변수 상태 | 환경 의존성 버그 미탐지 | CI 파이프라인 환경 로그(`env` 스텝 출력) |
| 도구 호출 횟수 | API 중복 호출·비용 급증 | Prometheus 메트릭(공식: prometheus.io) |
표의 '적용 방법 예시'는 각 도구 공식 문서에서 권장하는 계측 방식을 참고한 것이다. 팀 환경과 CI 플랫폼에 따라 구현 복잡도와 효과는 다를 수 있다.
우리 팀 적용 방법: CI 파이프라인에서 테스트 실행 후 "실행된 테스트 수"와 "스킵된 테스트 수"를 별도로 집계하는 리포트를 추가한다. 스킵 비율이 전체의 5%를 넘는 경우 병합을 보류하고 환경 설정을 재검토하는 규칙을 프로세스에 포함시킨다.
함정 3: 버그에 무감각한 테스트 — 수정 전후 모두 통과한다
테스트가 해당 로직을 실제로 건드리지 않으면, 버그를 심어도 통과한다.
의도적으로 버그를 삽입한 뒤 테스트를 실행했을 때 버그 수정 전과 후가 동일하게 통과하는 현상은, AI 에이전트 여부와 무관하게 단언 범위가 좁거나 경계값 검증이 빠진 테스트에서 나타나는 안티패턴이다. 이른바 죽은 테스트(dead test)다. AI 에이전트는 반복적이고 형식적인 케이스를 빠르게 채우는 경향이 있어 이 문제가 발생할 가능성이 상대적으로 높다. 뮤테이션 테스팅 도구 Stryker의 공개 블로그 사례(stryker-mutator.io, 2024년 게시)에서도 AI 보조 코드 작성 환경에서 뮤테이션 생존율이 수기 작성 대비 높게 나타나는 경향이 보고된 바 있다. 다만 이는 단일 사례 보고이며, 체계적 비교 연구로 일반화하기는 아직 이르다.
이를 걸러내는 방법이 뮤테이션 테스팅(mutation testing)이다. 코드에 의도적으로 작은 변이(mutation)를 가해, 테스트가 그 변이를 탐지하는지 확인한다. Stryker(JavaScript/TypeScript, stryker-mutator.io), PITest(Java, pitest.org), mutmut(Python, PyPI 공식 패키지) 등 성숙한 오픈소스 도구로 적용할 수 있다. 처음에는 가장 중요한 비즈니스 로직 모듈 하나에만 적용해도 충분하다.
우리 팀 적용 방법: 스프린트 종료 시점마다 AI 에이전트가 생성한 테스트 중 뮤테이션 테스트를 한 번이라도 돌려본 비율을 KPI로 추가한다. 뮤테이션 생존율(mutation survival rate) 임계값은 팀이 직접 설정하는 것이 현실적이다. 처음 측정한 값을 베이스라인으로 삼고, 이후 스프린트마다 개선 추이를 추적하는 방식을 권장한다. 수치 자체보다 "이 테스트가 실제로 로직을 검증하는가"를 팀이 주기적으로 묻는 습관을 만드는 것이 핵심 목표다.
이번 주 실행 체크리스트
AI 에이전트가 최근 작성한 테스트 파일 10개를 무작위로 열어 `expect()`·`assert()` 구문이 실제로 존재하는지 직접 확인한다. 없으면 해당 테스트를 즉시 비활성화(skip 처리)하고 재작성 태스크를 등록한다.
CI 파이프라인 테스트 리포트에서 "스킵된 테스트 수"를 처음으로 확인한다. 집계 항목이 없다면 이번 주에 추가하는 것을 목표로 삼는다.
핵심 비즈니스 로직 모듈 1개를 선정해 뮤테이션 테스트 도구를 처음 실행하고, 결과값을 팀과 공유한다. 첫 측정값을 팀 베이스라인으로 삼고 다음 스프린트에서 개선 여부를 비교한다.
자주 묻는 질문
Q1. AI 에이전트가 생성한 테스트에서 가장 먼저 확인해야 할 항목은 무엇인가요?
단언문(`expect()`·`assert()`) 존재 여부다. 에이전트는 "테스트를 작성하라"는 지시를 "오류 없이 실행되는 코드를 만들어라"로 해석하는 경향이 있어, 단언문 없이 실행만 되는 테스트가 섞여 들어오기 쉽다. 테스트 러너는 예외가 없으면 통과로 처리하므로, 단언문이 없는 테스트는 어떤 버그도 잡지 못한 채 영구적으로 녹색을 유지한다. PR 병합 전 10~20% 무작위 샘플링으로 단언문 존재를 확인하는 것이 가장 빠른 방어책이다.
Q2. 테스트 수가 많을수록 코드 품질이 높다고 볼 수 있나요?
테스트 수는 품질 지표가 아니다. 단언하는 내용의 밀도와 뮤테이션 탐지율이 실질 지표에 가깝다. 수천 개의 테스트가 환경 의존성으로 스킵되거나 로직을 건드리지 않는다면, 수백 개의 촘촘한 단언 기반 테스트보다 품질 보증 효과가 낮다. 테스트 수를 단일 KPI로 운영하는 팀은 AI 에이전트가 테스트를 대량 생성하는 환경에서 품질 착각 리스크에 노출될 가능성이 상대적으로 높다.
Q3. AI 에이전트 테스트를 어느 수준까지 신뢰할 수 있나요?
AI 에이전트가 생성한 테스트는 초안(draft)으로 활용하되, 최종 품질 근거로는 신뢰하지 않는 접근이 현장에서 합리적으로 받아들여지고 있다. 에이전트는 반복 케이스를 빠르게 커버하는 데 유용하지만, 경계값·예외 흐름·환경 의존성 검증은 사람이 보완해야 한다. "에이전트가 초안을 짜고, 사람이 뮤테이션 테스트로 검증한다"는 협업 구조를 프로세스로 정착시키는 것이 현실적인 출발점이다.
우리 기업도 AI를 도입해야 한다는 것은 알지만, 어디부터 시작해야 할지 막막한 경우가 많습니다.
이볼브는 기업의 업무 흐름, 데이터 관리 방식, 반복 업무 구조를 함께 점검하고, 실무에 바로 적용 가능한 AI/AX 도입 방향을 제안합니다. AI 도입, 업무 자동화, 고객관리·영업 프로세스 개선과 관련해 고민이 있다면 아래 링크로 가볍게 문의해주세요.
https://app.sellday.kr/form/?id=836919267819503767