안녕하세요! 사랑받는 IT 프로덕트의 첫걸음, 똑똑한개발자입니다 :)

API 연동 과정에서 발생하는 버그는 원인을 특정하기가 까다롭습니다. 기능 구현 문제인지, 데이터베이스 설계상 오류인지, ORM 연결 과정의 이슈인지 코드를 하나씩 확인해야 하는 데다, 구두 전달과 슬랙 스레드, DM을 넘나들며 맥락은 점점 흩어집니다.

바이브 코딩 방식이 확산되면서 버그 범위는 넓어지는 반면, 반복 발생하는 문제를 구조적으로 막기는 더 어려워지고 있습니다.

이 글에서는 똑똑한개발자의 AI 활용 방식 공유회에서 백엔드 개발자 박준형 님이 소개한 my-harness 시스템을 중심으로, API 연동 버그 코드 리뷰를 AI 에이전트로 자동화하는 방법을 구체적으로 정리해드리겠습니다.

API 버그 감지부터 기록까지, 슬랙으로 자동화하다

기존에는 API 연동 중 문제가 생기면 누군가 직접 알아채서 알려줘야 했습니다. 프론트엔드 개발자가 문제를 슬랙으로 전달하면, 백엔드 개발자가 그 시점부터 원인을 추적하기 시작할 수 있었죠.

my-harness는 이 전체 과정을 바꿀 수 있는데요! my-harness는 프론트엔드 개발자 은경 님이 제작한 AI 스킬로, 코드를 분석해 API 연동 이슈를 자동으로 감지하고 슬랙봇이 감지된 내용을 구조화된 리스트로 정리해줍니다. 

구두로 전달하는 과정에서 놓치거나 휘발되기 쉬웠던 맥락이 명확한 항목으로 남기 때문에 원인을 훨씬 더 잘 파악할 수 있습니다. 이 슬랙의 리스트는 이후 수정, 검증, 학습 전 과정의 기반 데이터로 활용됩니다.

AI 에이전트가 코드를 수정하고 검증하는 3단계

이슈가 리스트에 쌓이면, my-harness는 수정과 검증을 세 단계로 처리합니다.

1단계. 의존성 분석 후 병렬 수정

미완료 항목을 코드베이스와 함께 분석해 수정 계획을 수립합니다. 여러 이슈가 동일한 코드 영역에 걸쳐 있을 경우 의존 관계를 먼저 파악해 항목을 분류하고, 분류가 끝나면 AI 에이전트가 항목별로 동시에 수정 작업을 진행합니다.

2단계. 역할 분리형 멀티 에이전트 코드 리뷰

my-harness의 코드 리뷰는 에이전트마다 검토 관점을 다르게 가져갑니다. 변경 코드를 직접 분석하는 에이전트, 사이드 이펙트를 점검하는 에이전트, 보안과 성능을 전담하는 에이전트가 각자의 영역에서 병렬로 리뷰합니다.

초기에는 전문 에이전트 5개와 감독 에이전트 2개를 운영했지만, 상황에 맞는 에이전트만 선택적으로 투입하는 방식으로 전환한 후 품질을 유지하면서도 비용이 크게 줄었습니다.

3단계. 개발자 확인 후 팀 공유

리뷰에서 발견된 문제는 자동으로 수정됩니다. 이 단계에서 중요한 점은 AI의 판단을 개발자가 직접 확인하고 잘못된 내용을 즉시 바로잡을 수 있는 대화형 프로세스가 포함된다는 것입니다. 수정이 완료되면 변경 내용이 슬랙 리스트에 업데이트되어 프론트엔드 개발자가 바로 반영할 수 있습니다.

한 번 고친 버그가 다시 나오지 않는 회귀 방지 구조

정렬 방식을 변경했더니 페이지 처리 로직에 오류가 생기거나, 이전 수정의 배경을 모른 채 같은 코드를 다시 수정하는 상황은 꽤 자주 발생합니다.

my-harness는 이를 막기 위해 수정 이력을 규칙 문서로 저장하고, 이후 리뷰 시 해당 규칙을 자동으로 불러옵니다. 모든 규칙을 항상 AI에 전달하면 처리 비용이 올라가기 때문에, 리뷰 시점에 필요한 규칙만 선별해 참조하는 방식으로 효율성을 확보했습니다.

완전 자동화 대신 개발자 개입형을 택한 이유는?

my-harness는 완전 자동화 대신 개발자가 각 단계에 개입하는 방식을 선택했습니다.

완전 자동화는 속도가 빠르지만, 문제가 재발했을 때 원인을 추적하기 어렵고 AI의 잘못된 판단이 시스템 전반에 쌓일 위험이 있습니다. 반면 개발자가 단계마다 AI의 결과를 검토하는 구조에서는 오판을 즉시 수정할 수 있고, 자동화에 대한 신뢰도도 점진적으로 높아집니다.

실제 운영을 통해, 개발자 개입이 가능한 자동화 구조가 실무에서 더 안정적으로 작동한다는 점을 확인했습니다.

Q&A

Q. my-harness는 기획 문서가 있어야 동작하나요?

기획 문서 없이도 작동합니다. 프로젝트 도중 합류하더라도 기존 기획 방향을 먼저 반영하는 구조이기 때문에, 별도 기획 문서 없이도 바로 활용할 수 있습니다.

Q. 멀티 에이전트 리뷰 비용은 어느 정도인가요?

7개 에이전트 체계에서 필요한 에이전트만 투입하는 구조로 전환한 후, 품질을 유지하면서도 비용이 크게 절감되었습니다.

Q. 회귀 버그 방지 규칙은 어떻게 관리하나요?

새로운 문제가 발생하면 규칙 문서에 항목을 추가하고, 리뷰 시에만 해당 규칙을 불러오는 방식으로 처리 비용을 최소화합니다.

AX (AI 전환), 워크플로우부터 시작됩니다

AI를 조직 안에 제대로 녹이려면, 도구 도입보다 워크플로우 설계가 먼저입니다. 어떤 단계에 AI를 투입할지, 사람이 개입해야 하는 지점은 어디인지, 쌓인 결과물이 다음 작업에 어떻게 연결되는지를 먼저 그려야 자동화가 실제로 작동합니다.

똑똑한개발자는 AI 네이티브 조직으로서 이 과정을 직접 설계하고 운영하며 다듬어 왔습니다. 사내 공유회를 통해 실무 경험을 쌓고, 그 인사이트를 프로젝트에 반영하는 방식으로 AX를 이어가고 있습니다.

팀에 AI를 도입하는 방법이 막막하거나, 어디서부터 시작해야 할지 모르겠다면 똑똑한개발자에게 문의해 주세요.

[비즈니스 AX 컨설팅 문의]

🔗 똑똑한개발자 프로젝트 문의

🔗 AI Native 조직 워크플로우 자세히 보기