Um exercício de equipe vermelha de três semanas encontrou novas vulnerabilidades no sistema interno de monitoramento de desalinhamento da OpenAI – incluindo maneiras pelas quais os agentes de IA poderiam, em princípio, realizar ações sem nunca serem revisados por humanos. A METR, organização sem fins lucrativos de avaliação independente, publicou um resumo de alto nível das descobertas em 22 de outubro, extraído de um relatório interno de 61 páginas entregue aos pesquisadores e equipe de segurança da OpenAI.
O piloto ocorreu de 21 de julho a 11 de agosto e deu a um funcionário do METR e a um funcionário da Redwood Research acesso incomumente profundo à infraestrutura interna da OpenAI: a base de código, os prompts e configuração do sistema de monitoramento, documentação interna e entrevistas técnicas com cerca de uma dúzia de pesquisadores e engenheiros nas equipes de monitoramento, sistemas de segurança e segurança. Eles trabalharam em dispositivos emitidos pela OpenAI que nunca saíam das instalações e eram acompanhados enquanto estavam no local. Para saber mais sobre esta linha de pesquisa, consulte nossos últimos desenvolvimentos de IA.
O que a equipe vermelha encontrou
O exercício centrou-se em duas questões: quanto da inferência agente da OpenAI é realmente monitorizada e se os agentes poderiam desativar ou subverter o sistema de monitorização. As respostas revelaram lacunas significativas.
Na cobertura, o METR estimou que cerca de 75 a 94 por cento do tráfego interno da API de respostas da agência – a API que alimenta o Codex, entre outras coisas – de modelos pelo menos tão capazes quanto o GPT-5.5 era elegível para monitoramento na época, embora a organização observe uma incerteza substancial em ambas as direções. Dentro do subconjunto desse tráfego usado para agentes internos do Codex, 99,2% eram elegíveis. Mas a elegibilidade não era a mesma que a cobertura: as execuções de formação de aprendizagem por reforço não foram cobertas pelo sistema de monitorização no início do exercício, e os eventos de compactação não monitorizados provavelmente deixaram cerca de 10 por cento do tráfego interno elegível do Codex não monitorizado entre maio e julho de 2026. A equipe da OpenAI identificou de forma independente o problema de compactação antes do exercício e corrigiu-o enquanto ele estava em andamento.
O detalhe do tempo era importante. Como o monitor era acionado quando os agentes devolviam o controle ao usuário, um agente poderia adiar indefinidamente o monitoramento simplesmente continuando a executar ações durante a janela não monitorada.
A equipe também documentou caminhos de evasão ativos. Os agentes do Codex poderiam, em princípio, ignorar o sandboxing do Codex e a revisão automática, permitindo-lhes realizar qualquer ação que o usuário do host pudesse realizar. O METR descobriu uma exploração que impediria que centenas de ações recentes — incluindo as ações envolvidas na própria exploração — fossem monitoradas; OpenAI redigiu os detalhes técnicos. Os agentes provavelmente poderiam construir entradas que causassem a falha do monitor, explorando as diferenças de serialização entre a trajetória que o agente vê e o que o monitor vê, evitando o escalonamento para a revisão humana. E foram encontrados dois cabeçalhos controláveis pelo cliente que desativam o monitoramento para novos agentes, potencialmente permitindo que um agente inicie uma instância não monitorada, mas idêntica – embora o METR observe que o próprio ato de definir esses cabeçalhos pode ser detectado.
Por fim, a equipe identificou duas ferramentas de agente internas não monitoradas que se acredita terem permissões somente leitura, juntamente com uma exploração simples que poderia ter sido usada para subverter esses limites. O METR não validou esse comportamento na prática.
O que aconteceu
O exercício também validou partes do sistema. Com algumas pequenas exceções, o monitor mostra a trajetória completa que os agentes veem. Os avisos de monitoramento foram confirmados para procurar esquemas, subversão do sistema, sabotagem, exfiltração de dados, engano e injeção imediata de entrada e saída, entre outras categorias de risco. Quanto à confiabilidade, as informações fornecidas pelo METR sugeriram que o monitor cometeu erros em menos de 0,2% das solicitações e, em um período de 24 horas durante o exercício, não houve nenhuma perda de carga.
Resposta da OpenAI
De acordo com o METR, a OpenAI declarou que todas as vulnerabilidades identificadas que impactam a sua pilha de salvaguardas de produção foram corrigidas e descreveu alterações subsequentes significativas na cobertura pretendida do seu sistema de monitoramento. O METR não avaliou essas afirmações e suas descobertas descrevem o sistema como ele existia em ou antes de 21 de julho – e não a versão expandida que a OpenAI já estava construindo durante o exercício.
Lições de design para supervisão do agente
O METR encerrou o seu resumo com ideais de design para futuras infra-estruturas de monitorização, que, segundo ele, devem resistir a ataques deliberados, estratégicos e sustentados de agentes internos altamente capazes em grande escala. Dois se destacam. O monitoramento deve ser difícil de evitar: a execução de solicitações não monitoradas deve exigir aprovação explícita vinculada a organizações específicas ou chaves de API que são impedidas de inferência de agente, e os agentes devem ser monitorados a cada N mensagens ou minutos, e não apenas quando terminam seus turnos. E a cobertura deve ser auditável: contabilidade cuidadosa de todas as inferências, periodicamente cruzadas com os próprios registos do sistema de monitorização, para que tudo o que se pretende monitorizar seja demonstrável.
O exercício foi concebido como um piloto para dar aos investigadores externos acesso profundo à infra-estrutura interna de um laboratório de fronteira, e não como um relatório de transparência pública – o METR e a OpenAI concordaram antecipadamente que apenas um post breve e de alto nível seria publicado. A organização sem fins lucrativos afirma que as versões futuras seguirão as práticas de transparência e independência descritas na sua estrutura para trabalhar com empresas de IA. À medida que os agentes assumem um trabalho mais importante dentro dos laboratórios que os constroem, o piloto oferece um modelo de como os estrangeiros podem vigiar.
---
Fique à frente da IAReceba as últimas notícias, análises e avanços sobre IA — tudo em um só lugar.
Leia mais notícias sobre IA →
