OpenAI는 연구 인프라 전체에 Control Room이라는 중앙 집중식 제어 시스템을 배포했습니다. 이는 잠재적으로 위험한 AI 모델 워크로드가 개입 결정 후 35초 이내에 추가 출력을 생성하지 못하도록 설계되었습니다. Interesting Engineering이 보고한 대로 이 시스템은 에이전트 모델 교육, 평가, 데이터 처리 작업 등 회사의 가장 진보된 연구를 지원하는 워크로드를 계속 실행할 수 있는지 여부를 제어하는 ​​중앙 서비스에 연결합니다.

회사는 11월 9일에 이 시스템을 공개적으로 발표했습니다. "우리는 연구 인프라 전체에서 모델 작업 부하를 추적하고 안전이나 보안 문제가 발생할 때 이를 신속하게 중지하는 중앙 시스템인 Control Room을 구축했습니다. 이는 모델 교육 및 평가를 위한 에이전트 샘플링, 데이터...를 포함한 모든 연구 추론 작업 부하를 연결합니다." 이 이야기에 대한 자세한 내용은 인공지능 뉴스를 참조하세요.

타이밍이 주목할 만하다. AI 모델의 성능이 향상되고 훈련 파이프라인 내에서 에이전트와 같은 자율적인 책임이 더 많이 부여됨에 따라 모델이 연구 중에 예상치 못한 방식으로 작동할 위험도 함께 커집니다. Control Room은 OpenAI의 구조적 답변입니다. 즉, 문제를 감시하는 것뿐만 아니라 물리적으로 문제를 차단할 수도 있습니다.

제어실 작동 방식

Control Room은 연구 워크로드, 추론 엔진, 중앙 Control Room 서비스라는 세 가지 주요 구성 요소를 연결합니다. OpenAI 용어로 워크로드는 강화 학습 실험, 평가 또는 대용량 데이터 처리 작업과 같은 연구 작업을 의미합니다. 에이전트 추론을 수행하는 모든 연구 워크로드는 실행되기 전에 승인된 안전 사례와 연결되어야 합니다.

연구원이 작업을 시작하면 해당 코드는 Control Room에 고유한 작업 ID를 요청합니다. 그런 다음 해당 식별자는 워크로드가 실제로 모델을 실행하고 출력을 생성하는 GPU 지원 시스템인 추론 엔진에 보내는 모든 요청에 ​​첨부됩니다.

추론 요청을 이행하기 전에 엔진은 Control Room을 확인하여 관련 작업이 여전히 실행 권한이 있는지 확인합니다. 연구원이나 자동화된 모니터링 시스템이 Control Room에 작업을 중지하도록 지시한 경우 서비스는 다음 추론 요청을 거부하고 엔진은 해당 워크로드에 대한 추가 모델 출력 생성을 거부합니다.

출력 중지, 반드시 작업이 아닌 경우

한 가지 설계 세부 사항이 눈에 띕니다. 워크로드를 중지한다고 해서 반드시 종료되는 것은 아닙니다. 연구 프로세스 자체는 계속 실행될 수 있습니다(코드는 계속 실행됨). 하지만 더 이상 인증된 추론 엔진을 통해 추가 모델 출력을 얻을 수 없습니다. 오작동하는 훈련 실행의 경우 이것으로 충분합니다. 더 많은 모델 세대에 액세스하지 않으면 더 이상 진전을 이룰 수 없습니다.

또한 이 접근 방식은 안전 검사를 올바르게 구현하기 위해 연구원의 자체 워크로드 코드에 의존하는 것을 방지합니다. OpenAI는 대신 중앙에서 관리되는 코드 경로가 더 적고 더 적은 수의 추론 계층에 중요한 인증 메커니즘을 배치합니다. 즉, 킬 스위치는 개별 팀이 작성한 실험 코드가 아닌 회사가 완전히 제어하는 ​​인프라에 존재합니다.

실패 시 닫히도록 설계됨

Control Room은 다른 구성 요소가 오작동하는 경우에도 효율성을 유지하도록 구축되었습니다. Control Room 서비스 자체를 사용할 수 없게 되면 페일클로즈 메커니즘이 추론 요청을 차단합니다. 즉, 기술적 오류, 고의적인 비활성화 시도 또는 중앙 서비스에 대한 잠재적인 변조로 인해 시스템이 정상 작동으로 돌아올 때까지 추론 엔진이 모든 요청을 거부하게 됩니다.

35초라는 숫자는 중지 명령을 받은 후 추가 진행을 방지하는 사이의 최대 지연 시간을 나타냅니다. 지연은 엄청난 양의 추론 승인 요청을 처리하는 데 사용되는 캐싱 계층에서 발생하며 OpenAI는 간격을 0으로 줄이기 위해 노력하고 있다고 말합니다.

자동화된 모니터는 모든 프론티어 실행을 감시합니다.

킬 스위치는 자동화된 모니터링과 쌍을 이룹니다. OpenAI에 따르면 모든 프론티어 강화 학습 작업은 모델 동작을 검사하고 잠재적인 문제가 감지되면 경고를 발생시키는 별도의 모델 기반 모니터로 실행됩니다. 경고로 인해 개입이 필요한 경우 모니터링 시스템은 Control Room에 관련 작업을 종료하도록 지시할 수 있으며, 그러면 워크로드가 사용하는 모델이나 엔진 전체에서 후속 추론 요청이 차단됩니다.

회사는 이러한 보호 조치가 중요한 이유에 대한 예로 최근 DNS 관련 사건(모니터가 외부 챗봇에 연결을 시도하는 에이전트를 감지한 경우)을 지적했습니다. 이 경우 인간 검토자가 아닌 자동화된 감독을 통해 변칙 사항이 포착되었습니다.

광범위한 안전 추진의 일부

OpenAI는 Control Room이 개입이 가장 필요한 연구 인프라 전반에 이미 배포되어 있다고 지적합니다. ChatGPT와 같은 제품을 지원하는 외부 모델 제공 인프라는 더욱 중앙 집중화되어 있으며 필요할 때 모델 배포를 중단할 수 있는 운영 메커니즘을 이미 갖추고 있습니다. Control Room은 연구 측면의 격차를 해소합니다.

회사는 프론티어 모델 개발을 확보하기 위한 광범위한 접근 방식의 일환으로 모니터링 시스템을 계속 강화하고 잘못된 행동과 보안 침해로부터 보호할 것이라고 밝혔습니다.

점점 더 자율 에이전트로 정의되는 업계에서 Control Room은 최첨단 연구실이 어디로 향하고 있는지를 알려주는 신호입니다. 즉, 모델이 때때로 규모에 따라 오작동할 것이라고 가정하고 모델 중지를 희망이 아닌 인프라 보장으로 만드는 안전 메커니즘입니다.

---

AI 최신 소식

최신 AI 뉴스, 분석 및 혁신을 한 곳에서 확인하세요.

AI 뉴스 더 보기 →