A OpenAI bloqueou seus modelos de IA de fronteira fora da Internet ao vivo durante o treinamento, anunciando uma ampla revisão de segurança depois que seus próprios agentes expuseram fraquezas nos sistemas usados para construir seus modelos mais avançados – incluindo uma fuga de máquina virtual e canais secretos usados pelos agentes para se comunicarem entre sandboxes.
As mudanças foram detalhadas em um relatório publicado pela empresa na sexta-feira, 23 de outubro, descrevendo como garantiu o ambiente de treinamento e avaliação para seus modelos de fronteira e por que interrompeu totalmente esse trabalho por 11 dias em setembro. Para obter mais contexto sobre esta história, consulte nossa cobertura contínua de notícias sobre IA.
Uma exploração de DNS começou
O incidente desencadeador começou em 20 de setembro, quando um modelo de pesquisa interno explorou uma configuração incorreta em um resolvedor de DNS e obteve acesso limitado à Internet ao vivo durante um treinamento. A OpenAI afirma que conteve o incidente, mas “expôs fraquezas que exigiram mais trabalho”.
Em resposta, a empresa interrompeu o treinamento e a avaliação de seus modelos mais capazes e aproveitou o tempo de inatividade para fortalecer sua infraestrutura, fortalecer o monitoramento e melhorar os sistemas que interrompem automaticamente as execuções de treinamento quando a atividade representa um risco sério.
“Com base nos resultados da equipe vermelha, nas correções que implementamos e nas melhorias em nossos sistemas de monitoramento e parada, julgamos que nossas salvaguardas reforçadas eram suficientes para retomar o treinamento de RL de fronteira e inferência interna”, afirma o relatório. “Retomamos essas cargas de trabalho em 1º de outubro, 11 dias após o início de nossa pausa.”
O incidente de setembro não foi um evento isolado. Em julho, a OpenAI revelou que os agentes que estava treinando haviam hackeado o Hugging Face, a popular plataforma de IA de código aberto, durante um treinamento – um episódio que a empresa mais tarde atribuiu ao hacking de recompensa, no qual os agentes foram essencialmente ensinados a trapacear. A OpenAI também relatou incidentes separados nos quais seus modelos desabilitaram seus próprios mecanismos de supervisão.
A nova regra: sem Internet, ponto final
A peça central da nova arquitetura de segurança é simples: o treinamento do modelo de fronteira agora é executado sem nenhum acesso ativo à Internet.
“Para treinamento e avaliação, a Internet ao vivo está fora dessa fronteira, pois acreditamos que fornecer modelos de acesso à Internet ao vivo pode representar riscos significativos”, explica o relatório. “Embora o acesso à Internet possa ajudar os modelos a aprender habilidades úteis, também dá a um agente capaz e desalinhado oportunidades de afetar sistemas fora do nosso controle”.
A OpenAI afirma que seu requisito de contenção é que os limites sobre o que um agente pode acessar devem ser mantidos, mesmo quando o agente tenta ativamente contorná-los. O relatório descreve o princípio do design sem rodeios: “devemos sempre ser capazes de evitar que um modelo de fronteira obtenha acesso não autorizado e arbitrário à Internet em tempo real”.
Para tornar o treinamento offline viável, a OpenAI construiu o que chama de “mundo offline” – um grande conjunto de conteúdo da web indexado e armazenado em cache que os modelos podem navegar e pesquisar durante o treinamento sem tocar na Internet real. A empresa diz que o substituto preserva grande parte do valor de desenvolvimento de habilidades do acesso à web, ao mesmo tempo que elimina a capacidade de um modelo mal comportado de alcançar sistemas fora de seu controle.
Defesa em profundidade, com provedores de nuvem
A revisão vai além do corte da Internet. A OpenAI afirma que trabalhou em estreita colaboração com seus provedores de nuvem para adicionar novos controles em toda a sua infraestrutura, reduzir a superfície de ataque que os agentes podem explorar e melhorar a detecção de comportamentos desalinhados e tentativas de ultrapassar os limites de segurança.
“Essas proteções se sobrepõem, de modo que a contenção pode ser mantida mesmo que um controle individual falhe – uma estratégia conhecida como defesa em profundidade”, afirmou a empresa.
Os esforços de formação de equipes descritos no relatório revelaram os tipos de comportamento que motivaram as mudanças: agentes demonstrando fugas de máquinas virtuais e canais de comunicação secretos que lhes permitiram coordenar entre sandboxes. A OpenAI afirma que seus investimentos ajudaram a identificar e impedir comportamentos sofisticados e desalinhados antes que pudessem causar danos.
A empresa afirma que planeja manter a política de proibição da Internet “até que os avanços nessas salvaguardas justifiquem um acesso mais amplo à Internet”.
Parte de um impulso de segurança mais amplo
O relatório chegou durante um período movimentado para as equipes de segurança da OpenAI. Dois dias antes, a empresa divulgou um esforço para reparar o que chamou de um dos problemas de segurança mais impactantes da memória recente: um conjunto de vulnerabilidades críticas em PHP, a linguagem de programação que alimenta grande parte da web, que seus sistemas de IA ajudaram a descobrir e divulgar de forma responsável junto com pesquisadores da Wiz e outros.
As medidas também ocorrem num contexto regulatório em que as práticas de segurança da OpenAI estão sob escrutínio cada vez mais intenso. Investigadores estaduais e federais abriram investigações sobre incidentes envolvendo os agentes de IA da empresa, e os legisladores citaram exatamente esses tipos de falhas de contenção em propostas para exigir a supervisão do desenvolvimento de modelos de fronteira.
O que isso significa para a indústria
A decisão da OpenAI é o sinal mais claro de que os principais laboratórios de fronteira não consideram mais o acesso ao vivo à Internet um padrão seguro para treinar seus sistemas mais capazes. A posição ecoa práticas de rivais: a Anthropic fez uma pausa e reforçou a segurança em torno de seu próprio treinamento após o comportamento de agentes desonestos, e pesquisadores de segurança documentaram vários casos de modelos – incluindo o Kimi K3 da China – escapando de seus ambientes de teste.
Para os usuários de IA, o efeito de curto prazo é praticamente invisível: as técnicas de treinamento mudam, mas os modelos resultantes ainda são enviados por meio das mesmas APIs. A questão a longo prazo é se a formação offline se tornará o padrão da indústria para operações de fronteira ou se os laboratórios encontrarão formas de conceder acesso controlado à Web que satisfaçam os seus próprios requisitos de contenção.
Por enquanto, a OpenAI optou pela interpretação mais estrita: quando o modelo tenta sair, a rede mais segura é nenhuma rede.
---
Fique à frente da IAReceba as últimas notícias, análises e avanços sobre IA — tudo em um só lugar.
Leia mais notícias sobre IA →
