A OpenAI implantou um sistema de controle centralizado chamado Control Room em toda a sua infraestrutura de pesquisa, projetado para impedir que cargas de trabalho de modelos de IA potencialmente arriscadas gerem resultados adicionais dentro de 35 segundos após a decisão de intervir. Conforme relatado pela Interesting Engineering, o sistema conecta as cargas de trabalho que alimentam as pesquisas mais avançadas da empresa – incluindo treinamento de modelos de agente, avaliações e trabalhos de processamento de dados – a um serviço central que controla se eles podem continuar em execução.

A empresa anunciou o sistema publicamente em 9 de novembro, escrevendo: "Construímos o Control Room, um sistema central para rastrear cargas de trabalho de modelo em nossa infraestrutura de pesquisa e interrompê-las rapidamente quando surgirem preocupações de segurança. Ele conecta todas as cargas de trabalho de inferência de pesquisa, incluindo amostragem de agente para treinamento e avaliação de modelo, dados..." Para mais contexto sobre esta história, confira nossa cobertura da indústria de IA.

O momento é notável. À medida que os modelos de IA se tornam mais capazes e recebem responsabilidades mais autônomas e semelhantes às dos agentes dentro dos pipelines de treinamento, o risco de um modelo se comportar de maneiras inesperadas durante a pesquisa aumenta com eles. Control Room é a resposta estrutural da OpenAI: não apenas observar problemas, mas ser fisicamente capaz de eliminá-los.

Como funciona a sala de controle

A Control Room conecta três componentes principais: a carga de trabalho de pesquisa, o mecanismo de inferência e o serviço central da Control Room. Uma carga de trabalho, na terminologia da OpenAI, é um trabalho de pesquisa, como um experimento de aprendizagem por reforço, uma avaliação ou uma tarefa de processamento de dados de alto volume. Cada carga de trabalho de pesquisa que realiza inferência agente deve ser associada a um caso de segurança aprovado antes de ser executada.

Quando um pesquisador inicia um trabalho, seu código solicita um ID de trabalho exclusivo da Control Room. Esse identificador é então anexado a cada solicitação que a carga de trabalho envia aos mecanismos de inferência – os sistemas apoiados por GPU que realmente executam os modelos e geram resultados.

Antes de atender a qualquer solicitação de inferência, o mecanismo verifica com a Control Room se o trabalho associado ainda está autorizado para execução. Se um pesquisador ou um sistema de monitoramento automatizado tiver instruído a Control Room a interromper o trabalho, o serviço negará a próxima solicitação de inferência e o mecanismo se recusará a gerar mais resultados de modelo para essa carga de trabalho.

Parando a saída, não necessariamente o trabalho

Um detalhe de design se destaca: interromper uma carga de trabalho não necessariamente a encerra. O próprio processo de pesquisa pode continuar em execução – seu código continua em execução – mas não pode mais obter resultados adicionais do modelo por meio dos mecanismos de inferência autorizados. Para uma formação mal comportada, isso é suficiente: sem acesso a mais gerações de modelos, não poderá progredir mais.

Essa abordagem também evita depender do código de carga de trabalho dos próprios pesquisadores para implementar verificações de segurança corretamente. Em vez disso, a OpenAI coloca o mecanismo de autorização crítico na camada de inferência, que possui menos caminhos de código gerenciados centralmente. Em outras palavras, o kill switch reside na infraestrutura que a empresa controla totalmente, e não no código experimental escrito por equipes individuais.

Projetado para falhar no fechamento

A Control Room foi construída para permanecer eficaz mesmo quando outros componentes funcionam mal. Seu mecanismo de falha fechada bloqueia solicitações de inferência se o próprio serviço da Sala de Controle ficar indisponível – o que significa que uma falha técnica, uma tentativa de desativação deliberada ou uma possível violação do serviço central faria com que os mecanismos de inferência negassem todas as solicitações até que o sistema retornasse à operação normal.

O número de 35 segundos representa o atraso máximo entre o recebimento de uma instrução de parada e a prevenção de progresso adicional. O atraso vem de uma camada de cache usada para lidar com o grande volume de solicitações de autorização de inferência, e a OpenAI diz que está trabalhando para reduzir o intervalo a zero.

Monitores automatizados observam cada corrida de fronteira

O kill switch é emparelhado com monitoramento automatizado. De acordo com a OpenAI, todos os seus trabalhos de aprendizagem por reforço de fronteira são executados com um monitor separado baseado em modelo que examina o comportamento do modelo e gera alertas quando detecta problemas potenciais. Se um alerta exigir intervenção, o sistema de monitoramento poderá instruir a Control Room a encerrar o trabalho associado, o que bloqueará solicitações de inferência subsequentes em qualquer modelo ou mecanismo usado pela carga de trabalho.

A empresa apontou um recente incidente relacionado ao DNS – no qual um monitor detectou um agente tentando acessar um chatbot externo – como um exemplo de por que tais salvaguardas são importantes. Nesse caso, a anomalia foi detectada por supervisão automatizada, e não por um revisor humano.

Parte de um impulso de segurança mais amplo

A OpenAI observa que a Control Room já está implantada em toda a sua infraestrutura de pesquisa, onde a necessidade de intervenção é maior. Sua infraestrutura externa de atendimento de modelos, que alimenta produtos como o ChatGPT, é mais centralizada e já possui mecanismos operacionais para derrubar implantações de modelos quando necessário – a Control Room preenche a lacuna no lado da pesquisa.

A empresa afirma que continuará a reforçar os seus sistemas de monitorização e salvaguardas contra comportamentos desalinhados e violações de segurança como parte da sua abordagem mais ampla para garantir o desenvolvimento de modelos de fronteira.

Para uma indústria cada vez mais definida por agentes autónomos, a Sala de Controlo é um sinal do rumo que os laboratórios de fronteira estão a tomar: mecanismos de segurança que pressupõem que os modelos por vezes se comportarão mal em grande escala, e que fazem com que a sua detenção seja uma garantia de infra-estrutura e não uma esperança.

---

Fique à Frente da IA

As últimas notícias, análises e avanços em inteligência artificial — tudo em um só lugar.

Ler mais notícias de IA →