지난 2주 동안, AI계의 두 공룡 OpenAI와 Claude에서 연달아 터진 이슈에 많은 사람들이 들썩이고 있어요. 두 가지 사건 모두 공통점이 있는데요. 바로 "AI가 사람이 지정한 권한을 넘어서 행동했다는 점"입니다.

업계에선 벌써 "우리가 AI 에이전트를 정말 통제할 수 있는 걸까?"라는 의구심이 돌고 있어요. 마치 영화 속 인공지능이 탑재된 로봇들처럼 AI가 사람의 통제를 스스로 벗어나 행동하는 AI가 등장한 걸까요?

사건 하나 — OpenAI 모델, 답안을 훔치러 떠나다

7월 초, OpenAI는 최신 AI 모델의 사이버 보안 능력을 평가하는 내부 벤치마크를 진행했어요. AI 모델은 보안을 위해 격리된 샌드박스(VM) 안에서만 문제를 풀도록 설계됐어요.

하지만 AI는 문제를 정직하게 푸는 대신, 샌드박스 안이라는 경계를 스스로 벗어나는 전략을 선택했어요. 인터넷에 접근해 AI 모델 공유 플랫폼인 Hugging Face의 인프라를 침해했고, 벤치마크 정답이 있을 만한 곳을 직접 찾아 나선 거예요.

AI는 취약점을 연쇄적으로 악용해 Hugging Face 내부에서 권한을 높이고, 자격 증명을 확보한 뒤 여러 내부 시스템으로 이동했어요. 일부 공간에서는 쓰기 권한까지 확보한 것으로 확인됐어요. 공격은 수만 건에 달하는 자동화된 행동으로 이루어졌고, Hugging Face 외에도 공개 서비스에 연결된 계정 4개를 침해한 사실이 추가로 드러났어요.

더 소름 돋는 건 그다음이에요. AI는 침입 과정에서 '탈출 지침'을 메모로 남겼어요. 내부 제약을 어떻게 우회했는지, 미래의 자기 버전이 같은 방법을 사용할 수 있도록 우회 방법을 기록해 둔 거죠.

사건 둘 — Claude Cowork, 맥북 파일을 몰래 읽었다

OpenAI 사건이 채 가라앉기도 전에, 이번엔 Anthropic의 Claude Cowork에서 유사한 사례가 나왔어요. 무려 맥북을 턴 사례죠.

Claude Cowork는 macOS에서 실행될 때 전용 가상공간에서 실행돼, 호스트 OS(맥)와 완전히 격리돼요. 쉽게 생각하면 에이전트가 외부 파일이나 시스템에 함부로 접근하지 못하도록 울타리를 쳐둔 거예요. 그런데 한 연구진이 그 울타리를 넘어서는 방법을 찾아냈어요.

연구팀은 에이전트에게 폴더 하나만 연결해 주고 샌드박스 탈출을 유도하는 메시지 한 줄을 보냈어요. 그러자 리눅스 커널에 숨어 있던 취약점을 이용해 격리 공간 안에서 관리자 권한을 얻고, 호스트 맥북 전체 파일에 접근할 수 있었어요. SSH 키나 클라우드 계정 비밀번호 같은 민감한 정보가 에이전트의 눈앞에 열려 있었어요. 이 취약점에 노출된 사용자는 macOS에서 Cowork를 실행 중이던 약 50만 명으로 추정돼요.

Anthropic은 이 이슈를 별도 패치로 수정하지는 않았지만, Claude Cowork의 기본 실행 모드를 클라우드 방식으로 전환해 이 공격 경로를 차단했어요.

취약점을 발견한 것도 중요하지만, 더 중요한 건 AI의 행동 방식이에요. 원래라면 AI는 사용자가 허용한 그 폴더 안에서만 작업해야 했죠. 그러나 그 경계를 넘어 연결된 폴더 훨씬 바깥의 파일까지 읽고 쓸 수 있다는 것이 확인됐어요.

즉, 사용자가 허용한 범위 안에서만 일할 것이라고 믿었던 AI가, 권한의 경계를 넘어 더 넓은 영역까지 접근할 수 있다는 사실이 확인된 거예요.

💬Thinking Point

이번 두 사건은 AI가 단순히 더 똑똑해졌다는 것을 보여준 사례가 아니에요. AI 에이전트를 안전하게 활용하기 위해서는 AI에게 어떤 권한을 어디까지 부여할 것인지, 그리고 문제가 발생했을 때 피해 범위를 어떻게 제한할 것인지 함께 설계해야 한다는 점을 보여준 사례예요.

AI 에이전트는 앞으로 이메일을 보내고, 데이터를 분석하고, 서비스를 운영하는 등 점점 더 많은 업무를 대신하게 될 거예요. 그만큼 중요한 것은 AI의 성능뿐 아니라, 필요한 만큼만 권한을 부여하고 실행 환경을 안전하게 격리하는 구조가 될 수 있어요.

그렇기에 AI를 도입할 때는 "얼마나 똑똑한가"뿐 아니라 "어떤 권한으로 동작하는가", "문제가 발생해도 피해를 제한할 수 있는가"까지 확인해야 할 거예요.

Kimi K3, 도대체 뭐길래 이렇게 난리일까?

최근 AI 생태계에서 큰 변화를 일으키고 있는 모델, Kimi K3를 아시나요? Kimi를 개발한 Moonshot AI가 7월 공개한 K3는 출시 48시간 만에 사용자가 몰리면서 GPU 용량이 한계에 도달했고, 신규 구독을 일시 중단하고 기존 구독자만 계속 사용할 수 있도록 조치할 정도로 뜨거운 관심을 받았어요. 미국과 유럽 주요 매체들도 "너무 인기가 많아 서비스를 제한했다"는 점을 비중 있게 다루고 있어요.

Kimi K3, 얼마나 좋길래 이런 반응을 얻고있을까요?

오픈웨이트의 진화, 밸류 맥싱을 불러오다

사실 K3가 주목받게 된 이유는 바로 기존 상용 고성능 AI 모델과 경쟁할 수 있는 수준을 유지하면서도, 훨씬 저렴하게 활용할 수 있고 기업이 직접 운영할 수 있는 오픈 웨이트 모델이라는 점 때문인데요.

오픈 웨이트 모델의 진화는 기업이 AI를 사용하는 방식 자체를 바꿀 수도 있다는 평가를 받고 있어요. 이제는 더 많은 토큰을 사용해 성능을 끌어올리는 '토큰 맥싱(Token Maxing)'보다, 같은 비용으로 얼마나 더 큰 가치를 만들어낼 수 있는지가 중요한 '밸류 맥싱(Value Maxing)'이 새로운 기준으로 떠오르고 있죠.

오픈 웨이트 모델이 이끄는 '밸류 맥싱(Value Maxing)'은 기업의 AI 활용 방식을 어떤식으로 바꾸게 될까요? ThinkingAI 블로그에서 확인해 보세요!

Kimi K3가 앞으로의 AI 생태계에 어떤 영향을 끼칠까요?