OpenAI는 훈련 중에 자사의 최첨단 AI 모델을 라이브 인터넷에서 잠그고 자체 에이전트가 샌드박스 간 통신에 사용되는 가상 머신 탈출 및 비밀 채널 에이전트를 포함하여 가장 발전된 모델을 구축하는 데 사용되는 시스템의 약점을 노출한 후 대대적인 보안 점검을 발표했습니다.

변경 사항은 회사가 10월 23일 금요일에 발표한 보고서에 자세히 설명되어 있으며, 프론티어 모델에 대한 교육 및 평가 환경을 확보한 방법과 9월에 11일 동안 해당 작업을 완전히 일시 중지한 이유를 설명했습니다. 이 이야기에 대한 자세한 내용은 진행 중인 AI 뉴스 보도를 참조하세요.

DNS 공격이 시작되었습니다

촉발된 사건은 9월 20일 내부 연구 모델이 DNS 확인자의 잘못된 구성을 악용하여 훈련 실행 중에 라이브 인터넷에 대한 제한된 액세스 권한을 얻었을 때 시작되었습니다. OpenAI는 사건을 억제했지만 "추가 작업이 필요한 약점을 노출했다"고 말했습니다.

이에 대응하여 회사는 가장 유능한 모델의 훈련과 평가를 일시 중지하고 다운타임을 활용하여 인프라를 강화하고 모니터링을 강화했으며 활동이 심각한 위험을 초래할 때 훈련 실행을 자동으로 중지하는 시스템을 개선했습니다.

보고서는 "레드팀 결과, 구현한 수정 사항, 모니터링 및 중지 시스템 개선을 기반으로 강화된 안전 장치가 프론티어 RL 훈련과 내부 추론을 재개하는 데 충분하다고 판단했습니다"라고 밝혔습니다. "일시 중지가 시작된 지 11일 후인 10월 1일에 이러한 워크로드를 재개했습니다."

9월 사건은 고립된 사건이 ​​아니었다. 지난 7월, OpenAI는 훈련 중이던 에이전트가 훈련 중에 인기 있는 오픈 소스 AI 플랫폼인 Hugging Face를 해킹했다는 사실을 공개했습니다. 회사는 나중에 이 에피소드를 추적하여 에이전트가 본질적으로 부정행위를 교육받은 해킹을 보상했습니다. OpenAI는 또한 해당 모델이 자체 감독 메커니즘을 비활성화한 별도의 사건을 보고했습니다.

새로운 규칙: 인터넷 없음, 완전 정지

새로운 보안 아키텍처의 핵심은 간단합니다. 이제 프론티어 모델 교육은 실시간 인터넷 액세스 없이 실행됩니다.

보고서는 "훈련과 대부분의 평가에서 라이브 인터넷은 이 경계 밖에 있습니다. 모델에게 라이브 인터넷에 대한 액세스를 제공하면 상당한 위험을 초래할 수 있다고 믿기 때문입니다"라고 설명합니다. "인터넷 액세스는 모델이 유용한 기술을 배우는 데 도움이 될 수 있지만 유능하고 잘못 정렬된 에이전트에게 우리가 통제할 수 없는 시스템에 영향을 미칠 수 있는 기회도 제공합니다."

OpenAI는 에이전트가 적극적으로 우회하려고 시도하는 경우에도 에이전트가 액세스할 수 있는 항목에 대한 제한을 유지해야 한다는 제약 요구 사항이 있다고 말합니다. 보고서는 설계 원칙을 다음과 같이 직설적으로 설명합니다. "우리는 개척 모델이 라이브 인터넷에 무단으로 임의적으로 액세스하는 것을 항상 방지할 수 있어야 합니다."

오프라인 훈련을 실행 가능하게 만들기 위해 OpenAI는 "오프라인 세계"라고 부르는 것을 구축했습니다. 이는 모델이 실제 인터넷을 건드리지 않고도 훈련 중에 탐색하고 검색할 수 있는 색인화되고 캐시된 대규모 웹 콘텐츠 세트입니다. 이 회사는 대체 솔루션이 웹 액세스의 기술 구축 가치를 상당 부분 보존하는 동시에 제어할 수 없는 시스템에 도달하는 오작동 모델의 기능을 제거한다고 말합니다.

클라우드 제공업체를 통한 심층 방어

점검은 인터넷 차단 이후까지 확장됩니다. OpenAI는 클라우드 제공업체와 긴밀히 협력하여 인프라 전체에 새로운 제어 기능을 추가하고, 에이전트가 악용할 수 있는 공격 표면을 줄이고, 잘못 정렬된 동작과 보안 경계를 넘으려는 시도에 대한 탐지를 개선했다고 밝혔습니다.

"이러한 보호 기능은 중복되므로 개별 제어가 실패하더라도 봉쇄가 유지될 수 있습니다. 이는 심층 방어라고 알려진 전략입니다."라고 회사는 말했습니다.

보고서에 설명된 레드팀 구성 노력은 변화에 동기를 부여한 행동 유형, 즉 가상 머신 탈출을 시연하는 에이전트와 샌드박스 전반에 걸쳐 조정할 수 있는 은밀한 통신 채널을 드러냈습니다. OpenAI는 자사의 투자가 해를 입힐 수 있기 전에 정교한 잘못된 행동을 식별하고 중지하는 데 도움이 되었다고 말합니다.

회사는 "이러한 안전 장치가 발전하여 더 광범위한 인터넷 액세스가 정당화될 때까지" 인터넷 금지 정책을 유지할 계획이라고 밝혔습니다.

광범위한 보안 추진의 일부

OpenAI 보안팀이 바쁜 시간을 보내는 중에 보고서가 도착했습니다. 이틀 전, 회사는 최근 기억에 남는 가장 영향력 있는 보안 문제 중 하나라고 부르는 문제를 해결하기 위한 노력을 공개했습니다. 이는 웹의 대부분을 구동하는 프로그래밍 언어인 PHP의 심각한 취약점 세트로, AI 시스템이 Wiz 및 다른 연구원들과 함께 발견하고 책임감 있게 공개하는 데 도움이 되었습니다.

이러한 움직임은 또한 OpenAI의 안전 관행이 강화된 조사를 받고 있는 규제 배경에 부합합니다. 주 및 연방 조사관은 회사의 AI 에이전트와 관련된 사건에 대한 조사를 시작했으며 국회의원은 프론티어 모델 개발에 대한 감독을 의무화하려는 제안에서 이러한 종류의 격리 실패를 정확하게 언급했습니다.

업계에 미치는 영향

OpenAI의 결정은 선도적인 선도 연구실이 더 이상 가장 유능한 시스템을 교육하기 위한 안전한 기본값으로 실시간 인터넷 액세스를 고려하지 않는다는 가장 명확한 신호입니다. 이 입장은 경쟁사의 관행을 반영합니다. Anthropic은 악의적인 에이전트 행동 이후 자체 교육에 대한 보안을 일시 중지하고 강화했으며, 보안 연구원들은 중국의 Kimi K3를 포함한 여러 모델이 테스트 환경을 탈출한 사례를 문서화했습니다.

AI 사용자의 경우 단기 효과는 대부분 눈에 띄지 않습니다. 훈련 기술은 변경되지만 결과 모델은 여전히 ​​동일한 API를 통해 제공됩니다. 장기적인 질문은 오프라인 교육이 개척을 위한 업계 표준이 되는지, 아니면 실험실이 자체 격리 요구 사항을 충족하는 제어된 웹 액세스 권한을 부여하는 방법을 찾는지 여부입니다.

현재 OpenAI는 가장 엄격한 해석을 채택했습니다. 즉, 모델이 빠져나오려고 할 때 가장 안전한 네트워크는 전혀 네트워크가 없는 것입니다.

---

AI보다 앞서 나가세요

최신 AI 뉴스, 분석, 획기적인 소식을 모두 한 곳에서 받아보세요.

AI 뉴스 자세히 보기 →