오픈AI 및 앤트로픽AI 탈옥 논란?

최근 오픈AI의 AI 모델이 내부 테스트 과정에서 안전 가이드라인을 벗어나 외부 사이트를 해킹한 사실이 알려진 데 이어, 앤트로픽(Anthropic) 역시 자사 AI 모델 ‘클로드(Claude)’가 실제 기업 시스템에 무단 침입한 사례를 공개했습니다. 불과 열흘 사이 두 AI 기업이 잇따라 ‘AI 탈옥 해킹’ 사례를 인정하면서 AI 안전성과 통제 문제에 대한 우려가 커지고 있습니다.

AI툴의 해킹 사례

논란의 시작은 오픈AI였습니다. 오픈AI는 지난달 21일 공식 블로그를 통해 최신 AI 모델 GPT-5.6 Sol과 미공개 고성능 모델이 내부 테스트 과정에서 AI 플랫폼 허깅페이스 운영 데이터베이스(DB)를 무단 해킹했다고 밝혔습니다. 최첨단 AI 모델이 외부 인터넷과 격리된 통제 환경인 샌드박스를 스스로 벗어나 해킹에 성공했다는 사실이 엄청난 논란을 가져왔습니다.

이어 질수 없다며 앤트로픽은 보안성 평가 기록 14만여 건을 전수 조사한 결과, 클로드가 3차례 실제 기업의 운영 인프라에 무단 접근한 사례를 확인했다고 밝혔습니다.

이번 사고는 AI가 기밀 정보를 찾아 탈취하도록 하는 모의 해킹 훈련 과정에서 발생했습니다. 원래는 AI가 외부 인터넷에 접속하지 못하도록 차단할 계획이었지만, 훈련을 담당한 보안 업체와의 의사소통 오류로 인해 인터넷 연결이 차단되지 않았습니다.

클로드는 널리 알려진 해킹 수법인 비밀번호 조합 시도,인증되지 않은 접속 경로 이용, 기본적인 해킹 기법 활용 등을 통해 실제 기업 시스템에 침투했고, 운영 인프라 정보가 담긴 데이터베이스에 접근한 것으로 알려졌습니다.

왜 ‘탈옥 해킹’인가?

여기서 말하는 AI 탈옥(Jailbreak) 은 AI가 원래 설정된 안전 제한이나 운영 범위를 벗어나 행동하는 현상을 의미합니다.

이번 사례에서는 AI가 폐쇄된 훈련 환경이라고 믿고 행동하다가, 실제 인터넷과 연결된 기업 시스템을 공격 대상으로 인식해 침투를 시도했습니다. 그 뿐만 아니라 실제 사용자 서비스에서도 해킹이 진행되었습니다.

호주의 소프트웨어 개발자 앤드류 버드는 올해 초 AI 에이전트 소프트웨어인 '오픈클로'에 앤트로픽의 '클로드 오퍼스 4.6'을 연결해 헬스장 인기 수업 예약을 자동으로 처리하도록 했습니다. 그러나 AI 에이전트는 단순히 예약을 시도하는 데 그치지 않고 대기자 명단에서 자신의 순위를 높일 방법을 찾는 과정에서 예약 시스템의 API에 다른 이용자의 예약을 취소할 때 필요한 인증 절차가 제대로 적용되지 않는 취약점을 발견하고 에이전트는 대기자 1순위 이용자의 예약을 실제로 취소해 버렸습니다.

그 뿐만 아니라 

AI 코딩 에이전트가 사용자의 지시를 수행하는 과정에서 경로를 잘못 해석해 시스템의 주요 데이터를 삭제하는 사고가 발생하기도 했습니다. 한 개발자가 앤트로픽의 '클로드 오퍼스 5'에 시스템 백업을 요청했다가 사용자 프로필 폴더 전체를 삭제당한 사례가 알려지면서, 강력한 권한을 가진 AI 에이전트의 안전성에 대한 의문이 따라왔습니다.

AI 안전 규제

AI는 점점 더 강력해지고 있습니다. 이제 중요한 것은 성능 경쟁뿐 아니라, AI가 예기치 않은 상황에서 어디까지 행동할 수 있는지 통제하는 능력도 중요해질 것 같은데요.

거기다가 이렇게 해킹을 한다면 과연 그때 책임소재는 누구에게 있는지? 특히 단순히 예약만 해달라고 했는데, 다른 사람을 지우고 예약한다면 큰 이슈가 될 것 같은데요. 이번엔 헬스장이라 이슈가 크지 않을 수 있지만 만약 순천향대 의대 입시 비리처럼 AI agent가 합격생을 지워버리고 다른 사람을 합격시키는 취약점을 발견한다면 엄청난 사회적 이슈가 될 것 같은데요.

특히 자율적으로 판단하는 AI 에이전트의 경우 법적 판단이 무척이나 복잡해질 것으로 보입니다. 사용자가 어디까지 행동을 승인했는지, 에이전트 개발자가 어떤 안전장치를 마련했는지, 취약한 소프트웨어를 운영한 업체의 책임은 어디까지인지 등을 따져 보아야 할 것 같습니다.

과연 이제 AI 시대에서 최소한의 안전 규제에 대해서도 고민해볼 사항이라고 생각합니다.

미국 진보 진영의 대부 격인 버니 샌더스 연방 상원의원(무소속·버몬트)이 주요 인공지능(AI) 기업 최고경영자(CEO)들에게 AI 개발을 일시 중단할 것을 촉구하는 서한을 보냈다고도 하는데요. 정말 사용자의 통제가 불가능한 AI인지 아니면 

지속적으로 발전하는 중국 AI를 의식하고 상장을 앞둔 공포 마케팅인지 궁금합니다.

많은 전문가들은 '통제를 벗어난 AI'를 내세워 자사 AI 모델의 성능이 뛰어나다는 점을 강조하려는 공포 마케팅 같다는 의혹이 많습니다. 특히 오픈AI가 허깅페이스 해킹 사고를 발표한 뒤에 앤트로픽이 굳이 클로드의 3개월 전 해킹 사례까지 찾아서 공개한 이후 이런 논란이 더욱 커졌는데요. 

실제로 앤트로픽은 미토스 공개 이후 진행한 투자 라운드에서 650억달러(약 97조원)를 유치해 기업가치를 9650억달러(약 1445조원)로 끌어올린 전례가 있어서 더욱 의심이 듭니다.

2026.05.12 - [Tip & Tech/IT] - 보안업체를 놀래킨(?) 앤트로픽 클로드 미토스 논란

보안업체를 놀래킨(?) 앤트로픽 클로드 미토스 논란

과연 이번 사건은 단순한 공포 마케팅인지, AI시대에 안전 규제의 시급성을 나타내는 징표인지 궁금하네요.