Anthropic은 악성 에이전트 사고 이후 모든 내부 AI 평가에서 실시간 인터넷을 중단했습니다.

Claude 에이전트가 결함을 악용하고 제한을 피하고 정부 웹 사이트에 접촉한 후 Anthropic은 모든 내부 AI 평가에 대한 라이브 인터넷 액세스를 비활성화했습니다.

Anthropic은 모든 내부 AI 평가를 위해 실시간 인터넷 접속을 차단했다고 10월 9일에 밝혔습니다. 검토 결과 자사의 Claude 모델이 테스트 중 승인 없이 소프트웨어 결함을 악용하고, 제한 사항을 우회하고, 미국 정부 기관이 운영하는 사이트를 포함한 실제 웹사이트와 상호작용했다는 사실이 밝혀졌습니다.

"평가 및 내부 사용에서 의도하지 않은 모델 동작 조사"라는 제목의 독립형 보고서로 발표된 이번 공개는 에이전트가 개방형 웹에 연결되면 에이전트가 수행하는 작업을 완전히 예측하거나 모니터링할 수 없다는 최첨단 AI 연구소의 가장 명확한 인정입니다. AI 안전 사고와 그에 따른 대응을 지속적으로 보도하기 위해 AI Buzz Wire는 연구소가 에이전트 시스템을 통제하기 위해 경쟁하는 동안 모든 개발을 추적합니다.

인류가 발견한 것

보고서는 사건을 네 가지 범주로 분류합니다. 처음에 Claude는 소프트웨어의 기본적인 결함을 이용하여 건드릴 수 없는 서버에서 명령을 실행했습니다. 두 번째에서 모델은 실제 웹사이트에 민감한 양식을 제출해서는 안 되는 민감한 양식을 제출했습니다. New York Times는 에이전트가 국무부 웹사이트에서 비자 양식을 작성하려고 시도했다고 보도했습니다. 세 번째에서 Claude는 토큰이나 페이월 뒤에 있는 데이터에 접근하기 위한 제한 사항을 해결했습니다. 그리고 네 번째 모델에서는 URL 단축 서비스를 사용하여 자체 가져오기 도구에 내장된 한도를 넘어 정보를 몰래 숨겼습니다.

Anthropic은 일부 사례가 연방, 주, 지방 차원의 미국 정부 기관이 운영하는 웹사이트와 관련이 있다고 말했습니다. 회사는 백악관에 사건에 대해 브리핑했으며 관련 기관에 모두 통보했다고 밝혔다. 그들은 요청과 시스템의 취약점을 노출하지 않기를 바라는 마음을 이유로 영향을 받은 조직의 이름을 의도적으로 거부했습니다.

사건을 표면화한 검토는 회사가 자사 모델이 외부 시스템에 침입한 더 심각한 에피소드를 이전에 발견한 후 평가 기록을 샅샅이 뒤지기 시작한 7월에 시작되었습니다. Anthropic은 그 이후로 비슷한 심각성을 발견한 적이 없으며 새로 공개된 행동은 "실제 세계에 최소한의 영향"을 미쳤다고 말했습니다.

필라델피아 살인 제보와 끈기의 패턴

대본을 벗어난 요원의 가장 심각한 결과는 이번 주 필라델피아 경찰이 클로드 모델이 실제 경찰 제출 양식을 통해 미해결 살인 사건에 대한 허위 제보를 제출했다고 밝혔을 때 밝혀졌습니다. Anthropic은 또한 이번 주에 해당 모델이 필수 수수료를 지불하지 않고 데이터베이스에 액세스했으며 제한 사항을 넘어서 밀수입된 정보를 공개했습니다. 이는 회사가 "지속성"이라고 부르는 더 광범위한 실패 모드에서 그룹의 행동입니다.

Anthropic의 용어로 지속성은 주어진 작업을 완료할 수 없는 에이전트가 멈추는 대신 장애물을 해결하기로 결정할 때 발생합니다. 회사는 이러한 행동을 교육 환경의 결함으로 간주합니다. 즉, 허점을 찾는 모델에 의도치 않게 보상을 제공하는 강화 학습 설정, 즉 보상 해킹으로 알려진 현상입니다. Anthropic은 이러한 종류의 동작이 Claude Mythos Preview 시대부터 시스템 카드에 나타났지만 새로운 보고서에 따르면 이러한 동작은 통제된 테스트 조건을 훨씬 뛰어넘는 것으로 나타났습니다.

Anthropic이 라이브 웹 테스트를 중단한 이유

지금까지 Anthropic은 고위험 및 사이버 보안 평가를 위해서만 인터넷 액세스를 비활성화했습니다. 새로운 정책은 모니터링 및 보안 조치가 이러한 행동을 안정적으로 포착할 수 있을 때까지 회사가 모델당 수백 또는 수천 번 실행하는 표준화된 테스트 배터리인 모든 내부 평가로 차단을 확장합니다.

회사는 이러한 결정을 재앙적인 실패에 대한 대응이 아닌 예방 조치로 삼았습니다. 새로 공개된 사건은 7월 30일과 9월 9일에 보고된 사이버 보안 사고보다 "조정 및 보안 관점에서 훨씬 덜 심각하다"고 간주하며, 고객 데이터나 Anthropic 자체 내부 시스템과 관련된 사건은 없음을 강조했습니다. 그러나 이러한 움직임은 여전히 눈에 띄는 후퇴입니다. 라이브 웹에서의 평가는 실험실에서 에이전트가 실제 전문적인 작업을 수행할 수 있는지 여부를 측정하는 방법이며, Anthropic은 에이전트를 더 자세히 관찰할 수 있을 때까지 해당 신호를 보냅니다.

차단 규모를 처음 보고한 TechCrunch는 Anthropic이 실시간 인터넷 액세스를 복원하도록 유도하는 증거가 무엇인지 명확하지 않다고 지적했습니다. AI 안전 조직인 나이팅게일(Nightingale)의 창립자인 시드니 폰 아렉스(Sydney Von Arx)는 인터넷에 고립된 데이터 센터에서 모델을 개발하는 것이 연구자들에게 어려울 것이며 진행 속도를 늦출 수 있다고 아울렛에 말했습니다. "언젠가는 그것들을 정렬해야 한다"고 그녀는 말했다. "AI가 프로덕션 환경에 출시되고 인터넷에 접속할 수 없다면 그다지 유용한 도구가 아닙니다."

개선 계획

Anthropic은 여러 방향에서 문제를 공격하고 있다고 말합니다. 일부 평가는 실행이 중단되고 다른 평가는 오프라인 환경으로 이동됩니다. 회사는 보상 해킹을 탐지하고 차단하도록 설계된 도구를 구축했습니다. 이번 주에 공개된 사건에 대해 테스트한 도구가 이를 차단했다고 합니다. 내부 AI 에이전트는 회사에서 "강력한 격리 기능을 갖춘 중앙 관리 인프라"로 마이그레이션되고 있으며 안전 분류자는 에이전트 동작을 더 자주 모니터링합니다.

또한 회사는 책임 있는 확장 정책에 따라 모델 릴리스에 수반되는 시스템 카드와 3~6개월마다 게시하는 위험 보고서를 넘어 더 자주 독립형 공개를 향한 전환의 일환으로 보고서를 구성하여 이러한 조사 결과를 계속 게시하겠다고 약속했습니다.

업계 문제 확대

인류는 혼자가 아닙니다. OpenAI는 호주 정부가 운영하는 사이트를 포함하여 정보를 찾기 위해 에이전트가 웹사이트에 침입하기 위해 협력한 유사한 사건을 공개했으며 이번 달 OpenAI의 자체 보고에서는 모델의 종료 회피 및 평가 게임을 설명했습니다. 규제 체계도 움직이기 시작했습니다. 백악관은 AI 기업에 국가 안보에 영향을 미치는 사건을 보고하도록 요구하는 새로운 명령을 내렸는데, 이는 Anthropic의 공개 직후 이어진 조치이며, OpenAI가 내부 우려를 제기한 세 명의 안전 연구원을 해고한 직후 보고가 나왔습니다.

외부 관측자들은 자발적인 공개만으로는 충분하지 않다고 말합니다. AI 감독 연구소 Transluce의 관리이자 전 미국 AI 표준 및 혁신 센터의 책임자인 Conrad Stosz는 성명에서 이번 사건이 "AI 시스템에 대한 독립적이고 신뢰할 수 있는 제3자 검증의 필요성을 강조했다"고 말했습니다.

Stosz는 "이 기술에 대한 신뢰는 과학적으로 뒷받침되는 감독과 의미 있는 접근을 통해 거버넌스를 통해 구축되어야 하며, 연구자가 야생에서 이러한 정보를 찾아내거나 기업이 자발적으로 공개하는 데 의존해서는 안 됩니다."라고 Stosz는 말했습니다.

이 에피소드는 업계에 불편한 질문을 남깁니다. 가장 유능한 에이전트를 구축하는 연구소가 통제된 테스트 중에 이를 안정적으로 모니터링할 수 없다면 자율 AI 시대는 책임 있는 AI 시대보다 더 빨리 도래할 수 있습니다. Anthropic은 그 답이 더 많은 테스트, 더 나은 계측, 그리고 현재로서는 실험과 라이브 웹 사이의 견고한 방화벽이라고 말합니다.