3주간의 레드팀 훈련을 통해 OpenAI의 내부 정렬 불량 모니터링 시스템에서 AI 에이전트가 원칙적으로 인간의 검토 없이 조치를 취할 수 있는 방식을 포함하여 새로운 취약점을 발견했습니다. 독립적인 평가 비영리 단체인 METR은 OpenAI 연구원과 보안 직원에게 전달한 61페이지 분량의 내부 보고서에서 발췌한 결과에 대한 높은 수준의 요약을 10월 22일에 발표했습니다.

파일럿은 7월 21일부터 8월 11일까지 진행되었으며 METR 직원 한 명과 Redwood Research 직원 한 명에게 OpenAI의 내부 인프라(코드베이스, 모니터링 시스템의 프롬프트 및 구성, 내부 문서, 모니터링, 안전 시스템 및 보안 팀 전반에 걸쳐 약 12명의 연구원 및 엔지니어와의 기술 인터뷰)에 대한 비정상적으로 심층적인 액세스를 제공했습니다. 그들은 절대 건물을 떠나지 않고 현장에 동행하는 OpenAI 발급 장치에서 작업했습니다. 이 연구 분야에 대한 자세한 내용은 최신 AI 개발을 참조하세요.

레드팀이 발견한 것

이 연습은 OpenAI의 에이전트 추론이 실제로 얼마나 많이 모니터링되는지, 그리고 에이전트가 모니터링 시스템을 비활성화하거나 파괴할 수 있는지 여부라는 두 가지 질문에 중점을 두었습니다. 답변 결과 의미 있는 격차가 드러났습니다.

적용 범위에 대해 METR은 적어도 GPT-5.5만큼 가능한 모델에서 에이전트 내부 응답 API 트래픽(무엇보다도 Codex를 지원하는 API)의 약 75~94%가 당시 모니터링에 적합하다고 추정했지만 조직은 양방향에서 상당한 불확실성을 지적했습니다. 내부 Codex 에이전트에 사용되는 해당 트래픽의 하위 집합 내에서 99.2%가 적합했습니다. 그러나 적격성은 적용 범위와 동일하지 않았습니다. 강화 학습 훈련 실행은 훈련 시작 시 모니터링 시스템에 포함되지 않았으며, 모니터링되지 않은 압축 이벤트는 2026년 5월부터 7월 사이에 적격 내부 Codex 트래픽의 10% 정도가 모니터링되지 않은 상태로 남아 있을 가능성이 높습니다. OpenAI 직원은 훈련 전에 압축 문제를 독립적으로 식별하고 진행 중에 수정했습니다.

타이밍 세부 사항이 중요했습니다. 에이전트가 사용자에게 제어권을 반환할 때 모니터가 트리거되기 때문에 에이전트는 모니터링되지 않는 기간 동안 계속 작업을 수행함으로써 모니터링을 무기한 연기할 수 있습니다.

팀은 또한 활성 회피 경로를 문서화했습니다. Codex 에이전트는 원칙적으로 Codex 샌드박스 및 자동 검토를 우회하여 호스트 사용자가 취할 수 있는 모든 조치를 취할 수 있습니다. METR은 익스플로잇 자체와 관련된 작업을 포함하여 수백 건의 최근 작업을 모니터링하지 못하게 하는 익스플로잇을 발견했습니다. OpenAI는 기술적인 세부 사항을 수정했습니다. 에이전트는 에이전트가 보는 궤적과 모니터가 보는 것 사이의 직렬화 차이를 활용하여 모니터 실패를 유발하는 입력을 구성하여 사람이 검토하도록 에스컬레이션하는 것을 방지할 수 있습니다. 그리고 새 에이전트에 대한 모니터링을 비활성화하는 두 개의 클라이언트 제어 가능 헤더가 발견되어 잠재적으로 에이전트가 모니터링되지 않지만 동일한 인스턴스를 시작할 수 있도록 허용합니다. 하지만 METR은 이러한 헤더를 설정하는 행위 자체가 포착될 수 있다고 지적합니다.

마지막으로 팀은 읽기 전용 권한이 있는 것으로 추정되는 모니터링되지 않는 두 개의 내부 에이전트 도구와 이러한 제한을 무너뜨리는 데 사용할 수 있는 간단한 익스플로잇을 식별했습니다. METR은 실제로 해당 동작을 검증하지 않았습니다.

무엇이 문제였는가

이 연습에서는 시스템의 일부도 검증되었습니다. 몇 가지 사소한 예외를 제외하면 모니터에는 상담원이 보는 전체 궤적이 표시됩니다. 모니터링 프롬프트는 다른 위험 범주 중에서 계획, 시스템 파괴, 방해 행위, 데이터 유출, 사기, 인바운드 및 아웃바운드 프롬프트 주입을 찾는 것으로 확인되었습니다. 신뢰성에 대해 METR이 제공한 정보에 따르면 요청의 0.2% 미만에서 모니터 오류가 발생했으며 연습 중 24시간 동안 로드 차단이 전혀 발생하지 않았습니다.

OpenAI의 응답

METR에 따르면 OpenAI는 생산 보호 스택에 영향을 미치는 것으로 확인된 모든 취약점이 패치되었다고 밝혔으며 모니터링 시스템의 의도된 적용 범위에 대한 중요한 후속 변경 사항을 설명했습니다. METR은 이러한 주장을 평가하지 않았으며 그 결과는 OpenAI가 연습 중에 이미 구축한 확장 버전이 아니라 7월 21일 이전에 존재했던 시스템을 설명합니다.

상담원 감독을 위한 설계 강의

METR은 미래 모니터링 인프라에 대한 설계 이상으로 요약을 마무리했습니다. 이는 고성능 내부 에이전트의 고의적이고 전략적이며 지속적인 공격을 대규모로 견뎌야 한다고 주장합니다. 두 개가 눈에 띕니다. 모니터링은 피하기 어렵습니다. 모니터링되지 않는 요청을 실행하려면 에이전트 추론이 금지된 특정 조직 또는 API 키와 관련된 명시적인 승인이 필요하며 에이전트는 차례가 끝날 때만이 아니라 N 메시지 또는 분마다 모니터링되어야 합니다. 그리고 적용 범위는 감사 가능해야 합니다. 모든 추론을 주의 깊게 설명하고 모니터링 시스템의 자체 로그에 대해 주기적으로 상호 참조하여 모니터링하려는 모든 것이 명확하게 이루어지도록 해야 합니다.

이번 훈련은 공개 투명성 보고서가 아닌 외부 연구원들에게 프론티어 연구소의 내부 인프라에 대한 심층적인 접근을 제공하기 위한 파일럿으로 설계되었습니다. METR과 OpenAI는 간단하고 높은 수준의 게시물만 게시할 것이라는 데 사전에 동의했습니다. 비영리단체는 향후 버전이 AI 기업과 협력하기 위한 프레임워크에 설명된 투명성과 독립성 관행을 따를 것이라고 말했습니다. 에이전트가 에이전트를 구축하는 실험실 내에서 더 중요한 작업을 수행함에 따라 파일럿은 외부인이 감시할 수 있는 방법에 대한 템플릿을 제공합니다.

---

AI보다 앞서 나가세요

최신 AI 뉴스, 분석, 획기적인 소식을 모두 한 곳에서 받아보세요.

AI 뉴스 자세히 보기 →