19
이 글은 LeanX 블로그에 먼저 실린 글을 옮겨 온 것입니다.
AI에게 몇 시간씩 일을 맡기는 능력은 연구소 안의 5,000명만 가진 특권이 아닙니다. Karpathy가 말한 5,000명은 내부 최첨단 시스템에 접근할 수 있는 사람의 수이고, 연구소 밖에서 오래 맡기는 방법은 끝 조건, 스스로 검증할 수단, 주기적으로 덜어내는 습관으로 정리할 수 있습니다.
대표님이 AI에게 일을 맡겼다가 결국 처음부터 다시 확인한 경험이 있다면, 문제는 모델의 성능보다 일을 끝냈다고 판단하는 기준에 있었을 가능성이 큽니다. 이 글은 최근 해외 AI 업계에서 많이 공유된 두 개의 글을 출발점으로, 창업팀이 이번 주에 직접 시험할 수 있는 작업 방식을 정리합니다.
이 글은 2026년 10월 27일에 원문을 다시 열어 확인한 내용을 기준으로 합니다. Anthropic과 Y Combinator는 LeanX와 관계가 없으며, 실험 제안은 LeanX의 의견입니다. 마지막 부분의 LeanX 사례는 이 글을 만든 콘텐츠 발행 하네스에서 직접 겪은 일만 적었습니다.
1. 5,000명은 '일하는 방식'이 아니라 '접근 권한'의 숫자다
Andrej Karpathy는 2026년 10월 11일(미국 시간) X에 올린 글에서 AI 능력에 대한 이해의 격차가 깔때기 모양으로 벌어지고 있다고 설명했습니다. 그는 스스로 이 숫자를 '냅킨 계산(napkin math)'이라고 불렀습니다. 조사 데이터가 아니라 대략적인 추정이라는 뜻입니다.
깔때기는 네 층입니다. 약 60억 명(인구의 약 75%)은 대형 언어 모델을 거의 접해보지 않았습니다. 약 10억~20억 명(약 20%)은 무료 챗봇을 가끔 쓰는 사람들입니다. 수학과 코드 분야에서 최첨단 모델을 업무에 쓰는 약 2,000만 명(0.2%)은 몇 주에서 몇 달 걸리던 큰 프로젝트를 에이전트가 프롬프트 하나로 끝내는 것을 직접 보고 있습니다. 마지막 약 5,000명(약 0.00006%)은 연구소 내부에서 최첨단 시스템에 접근하는 사람들입니다. Karpathy는 이들이 보는 장면을 "수천 개의 에이전트가 몇 주 동안 협업하는 모습"으로 묘사했고, 동시에 사람의 검토와 이해가 뒤처지기 시작했다고 덧붙였습니다.
처음 이 글의 제목을 잡을 때 저희도 "전 세계 5,000명만 쓰는 AI 작업 방식"이라고 적었습니다. 그런데 리서치 단계에서 원문을 다시 읽어보니 5,000명은 특정 작업 방식을 쓰는 사람의 수가 아니었습니다. 외부에서 따라 한다고 들어갈 수 있는 집단도 아닙니다. 그래서 질문을 바꿨습니다. 연구소 밖의 우리는 어디까지 따라갈 수 있을까요? Karpathy 본인도 이 격차를 만드는 요인으로 문제의 크기와 기간, 검증할 수 있는 분야에서 능력이 먼저 높아지는 점, 그리고 접근 권한을 꼽았습니다. 앞의 두 가지는 우리가 일을 설계하는 방식으로 일부 다룰 수 있습니다.
2. Claude Code를 만든 사람이 공개한 다섯 가지 팁
Claude Code를 처음 만든 Anthropic의 Boris Cherny는 2026년 6월 8일 Threads 글에서 Opus 모델을 몇 시간, 며칠씩 혼자 일하게 하는 팁 다섯 가지를 공유했습니다. Anthropic 직원이 자사 제품에 대해 한 조언이라는 점은 감안하고 읽어야 합니다.
1. 자동 모드(auto mode)로 권한 승인을 맡긴다. 명령마다 사람에게 승인을 묻지 않게 합니다.
2. 동적 워크플로(dynamic workflows)를 쓴다. Claude가 수백, 수천 개의 에이전트를 지휘해 일을 끝내게 합니다.
3. /goal이나 /loop를 쓴다. 일이 끝날 때까지 계속 진행하도록 밀어줍니다.
4. 클라우드에서 실행한다. 노트북을 닫아도 일이 이어집니다. 그는 데스크톱이나 모바일 앱이 가장 쉬운 방법이라고 했습니다.
5. Claude가 자기 작업을 처음부터 끝까지 검증할 수단을 준다. 웹은 Chrome 브라우저 확장, 모바일은 시뮬레이터, 백엔드는 서비스 전체를 직접 띄울 방법을 예로 들었습니다.
공식 문서를 함께 읽으면 각 팁의 범위가 더 분명해집니다. /goal 문서에 따르면 /goal은 매 턴이 끝날 때마다 별도의 작은 모델이 조건 충족 여부를 판정하고, /loop는 정해진 시간 간격마다 같은 프롬프트를 다시 실행합니다. 동적 워크플로 문서는 모든 유료 플랜에서 쓸 수 있다고 설명하면서도(Pro는 설정에서 켜야 함) 한 번 실행에 에이전트 총 1,000개, 동시 실행 기본 16개라는 상한을 둡니다. 에이전트가 25개를 넘거나 예상 토큰이 150만 개를 넘으면 '대형 워크플로' 경고가 뜨고, 사용량은 플랜 한도에서 차감됩니다. 팁의 "수천 개"는 가능성의 표현이지, 비용 걱정 없이 기본으로 쓰는 설정은 아닙니다.
3. 다섯 번째 팁이 나머지 네 개를 지탱한다
앞의 네 가지는 사람의 개입을 줄이는 장치이고, 다섯 번째는 사람이 빠진 자리를 채우는 장치입니다. 저는 이 순서가 반대로 읽혀야 한다고 봅니다. 검증 수단 없이 자동 모드와 /goal만 켜면, 사람 대신 아무도 결과를 확인하지 않는 상태가 됩니다.
공식 자료가 이 지점을 직접 보여줍니다. Anthropic은 2026년 3월 25일 자동 모드 개발기에서 실제 세션에서 수집한 '과잉 실행' 사례 52건에 대해 자동 모드가 17%를 놓쳤다고 공개했습니다(별도로 실제 내부 트래픽 약 1만 건에서 정상 작업을 막은 비율은 0.4%). 표본이 작고 위험 사례만 모은 평가라 일반적인 사고율은 아닙니다. 그래도 Anthropic 스스로 자동 모드는 중요한 인프라에서 신중한 사람의 검토를 대체하지 않는다고 적었습니다.
/goal도 마찬가지입니다. 공식 문서는 판정 모델이 명령을 실행하거나 파일을 직접 읽지 않고, 대화에 드러난 내용만 보고 판단한다고 명시합니다. 그래서 문서는 "auth 폴더의 테스트가 모두 통과한다"처럼 Claude가 실제로 테스트를 돌리고 그 결과가 대화에 남는 조건을 쓰라고 권합니다. "다 끝났다"는 말만 남겨도 판정 모델이 속을 수 있다는 뜻입니다. 턴 수나 시간 제한을 조건에 함께 적으라는 조언도 있습니다.
Boris Cherny도 2026년 7월 28일 공개된 Y Combinator Startup Podcast 대담에서 검증을 "사람들이 제대로 하지 못하는 가장 중요한 한 가지"라고 말했습니다(공개 전사 기준, 20분 40초 무렵). 모델이 자기 작업 결과를 확인할 수단이 있어야 막히지 않고 계속 나아간다는 설명입니다.
4. 덜어내기: 시스템 프롬프트 80%를 지운 이유
장시간 실행과 함께 많이 공유된 조언은 '덜어내기'입니다. Anthropic의 Thariq Shihipar는 2026년 7월 24일 Claude 5세대 모델의 컨텍스트 설계 글에서 Opus 5 같은 모델에 대해 Claude Code 시스템 프롬프트의 80% 이상을 지웠고, 내부 코딩 평가에서 측정 가능한 손실이 없었다고 밝혔습니다. 같은 글은 CLAUDE.md를 가볍게 유지하고, 저장소의 함정(gotcha)에 분량을 쓰라고 권합니다.
Boris Cherny는 앞의 대담에서 Anthropic이 시스템 프롬프트를 줄인 방법을 설명했습니다. 프롬프트를 전부 지운 뒤 한 줄씩 되돌리며 각 줄의 효과를 확인하는 방식입니다. 사용자에게는 한 걸음 더 나아가 "6개월마다 CLAUDE.md를 지우고, 스킬과 훅도 지우고, 모델이 무엇을 하는지 보라"고 권했습니다. 줄 단위로 되돌리는 방식을 우리 CLAUDE.md에 적용하는 것은 아래에서 제안하는 LeanX의 방법입니다.
이 조언을 그대로 옮기기 전에 범위를 나눠야 합니다. 80% 삭제는 Anthropic이 자기 제품의 프롬프트를 자기 코딩 평가로 측정한 결과입니다. 우리 회사의 CLAUDE.md에는 모델의 약점을 보완하던 문장도 있지만, 회사의 운영 정책도 들어 있습니다. 예를 들어 "고객 데이터는 외부로 보내지 않는다", "발행 전에 담당자가 승인한다" 같은 규칙은 모델이 똑똑해졌다고 지울 대상이 아닙니다. 저는 문장을 두 종류로 나눠 관리하길 권합니다. 모델에게 일하는 요령을 알려주는 문장은 주기적으로 지워보며 시험하고, 정책과 승인 기준은 지우기 실험에서 빼고 별도로 관리합니다.
5. LeanX 콘텐츠 하네스에서 직접 겪은 일
이 글은 LeanX가 쓰는 콘텐츠 발행 하네스로 만들었습니다. 사람과 AI가 일을 나누는 방식은 Claude Duet 글에서도 다뤘습니다. 주제를 정하면 Grok, ChatGPT, Claude 세 모델이 각각 실제로 조사하고, 초안을 쓴 뒤 다른 검수 담당이 확인하며, 통과한 글만 블로그, 이오플래닛, LinkedIn, Threads 순서로 발행합니다. 발행 순서와 중복 발행 방지는 프로그램이 강제합니다. 이 하네스를 운영하며 위의 조언과 맞닿은 일이 세 번 있었습니다.
첫째, 이번 글의 출발점이 틀려 있었습니다. 앞에서 말했듯 처음 잡은 제목은 Karpathy의 숫자를 잘못 읽은 것이었습니다. 이 오류는 글을 쓰기 전 조사 단계에서 Claude가 해외 보도를 대조하며 지적했고, 이후 저희가 X 원문을 직접 열어 확인했습니다. 세 모델이 같은 주제를 조사해도 서로의 동의가 사실의 증거는 아니어서, 원문을 다시 여는 단계를 따로 두고 있습니다.
둘째, 검수 담당이 보고를 그대로 믿은 적이 있습니다. 10월 21일 하네스 기록에는 2차 검토가 직접 검사하지 않고 총괄 담당이 보고한 값을 인용한 사례가 남아 있습니다. 그 뒤로 검수 담당은 링크 상태, 이미지 크기, 금지어 같은 검사를 직접 실행하고 자기 이름으로 판정 파일을 제출해야 통과가 기록됩니다. /goal 판정 모델이 대화에 드러난 내용만 본다는 공식 문서의 경고와 같은 종류의 문제였습니다.
셋째, 자동화는 생각보다 자주 사람 앞에서 멈춥니다. 이번 실행에서도 터미널 없이 실행된 실행기가 하위 도구를 띄우지 못했습니다. 그 전날에는 처음 쓰는 이오플래닛 편집기가 '글쓰기'를 누를 때마다 빈 임시 글을 하나씩 만든다는 점을 관찰해 기록했습니다. 이런 일은 미리 다 막을 수 없어서, 멈춘 지점과 이유를 남기고 사람이 판단하도록 설계했습니다. 오래 맡길수록 이 기록이 중요해졌습니다.
6. 이번 주에 해볼 작은 실험 두 가지
아래는 LeanX의 제안이며 결과를 보장하는 실험이 아닙니다. 운영 데이터가 아니라 복사본이나 초안 환경에서 시작하세요.
실험 1. 끝 조건 하나 쓰기. 팀이 매주 반복하는 작업 하나를 골라 /goal 조건을 씁니다. 조건에는 확인 명령과 결과(예: "테스트 명령이 0으로 끝난다", "링크 검사에서 실패 0건"), 바꾸면 안 되는 것, 최대 턴 수를 함께 적습니다. 같은 작업을 세 번 돌리고 완료율, 완료했다고 했지만 실제로는 끝나지 않은 횟수, 사람이 고친 시간, 사용한 토큰을 기록합니다.
실험 2. 지침 덜어내기. CLAUDE.md를 복사해 정책과 승인 규칙만 남긴 가벼운 판과 원래 판을 준비합니다. 같은 작업을 각각 세 번 돌려 결과의 품질과 수정 횟수를 비교합니다. 가벼운 판에서 반복해서 깨지는 부분만 한 줄씩 되돌립니다. 여섯 번의 실행은 통계적 결론을 내기엔 적지만, 지울 문장과 남길 문장을 고르기엔 충분한 출발점입니다.
그림은 LeanX가 제안하는 흐름입니다. ① 끝 조건과 금지 사항, 최대 턴 수를 정합니다. ② 복사본 환경에서 자동 모드로 실행합니다. ③ 실제 명령으로 결과를 확인해 대화에 남깁니다. ④ 통과하지 못하면 정한 횟수만큼만 다시 시도하고, 횟수를 넘기면 멈춰 사람에게 넘깁니다. ⑤ 통과하면 작업한 쪽이 아닌 다른 검수 담당이 결과를 직접 확인한 뒤 완료로 기록합니다. 재시도 횟수는 팀이 정할 예시 값입니다.
7. 한계와 주의할 점
Karpathy의 깔때기는 본인이 밝힌 대략적인 추정입니다. Boris Cherny의 팁과 Anthropic의 수치는 제품을 만드는 회사의 자료이며, 독립 기관의 검증이 아닙니다. 대담의 발언은 공개 전사를 기준으로 인용했고, 원본 영상과 대조하지는 못했습니다. 기능의 세부 동작과 상한은 Claude Code 버전에 따라 달라질 수 있어, 도입 전 현재 문서를 다시 확인해야 합니다.
장시간 실행은 사용량과 비용이 빠르게 늘어날 수 있습니다. 외부 게시, 결제, 고객 데이터 삭제처럼 되돌리기 어려운 작업은 자동 모드에 맡기기보다 사람이 승인하는 단계로 남겨두는 편이 안전합니다.
AI에게 오래 맡기는 능력은 접근 권한보다 일을 나누는 방식에서 먼저 차이가 납니다. 우리 팀에서 결과를 확인하는 방법이 이미 정해진 일이 무엇인지부터 찾아보시면 어떨까요.
출처
· Andrej Karpathy, X 게시물, 2026-10-11(미국 시간) 게시. 깔때기 수치는 본인이 밝힌 대략적 추정입니다.
· Boris Cherny, Threads 게시물, 2026-06-08. 제품 개발사 직원의 조언입니다.
· Y Combinator Startup Podcast, Boris Cherny: Building Claude Code 공개 전사, 2026-07-28. 제3자 전사이며 원본 영상과 대조하지 않았습니다.
· Thariq Shihipar(Anthropic), The new rules of context engineering for Claude 5 generation models, 2026-07-24.
· Anthropic Engineering, How we built Claude Code auto mode, 2026-03-25.
· Claude Code 문서, Keep Claude working toward a goal, 2026-10-27 확인.
· Claude Code 문서, Orchestrate subagents at scale with dynamic workflows, 2026-10-27 확인.
실험 설계, 재시도 횟수, 흐름 그림의 구성은 LeanX의 제안이며 측정된 고객 성과가 아닙니다.
