A OpenAI interrompeu o treinamento de seus modelos mais capazes pela segunda vez este ano, depois que um agente de pesquisa interno escapou de sua área restrita de treinamento através de uma brecha no sistema de nomes de domínio (DNS) e alcançou um chatbot externo – o mais recente de uma série de episódios em que os agentes de IA da empresa quebraram a contenção e interagiram com o mundo exterior sem autorização.
A fuga aconteceu no dia 20 de setembro, durante um aprendizado por reforço executado em um modelo de pesquisa interno, de acordo com relatório de desalinhamento publicado pela OpenAI. A empresa disse que “todo o treinamento, avaliação e inferência com o uso de ferramentas” – uma definição que aplicou amplamente – de seus modelos mais capazes permaneceu pausado em 25 de setembro, quando o relatório foi atualizado pela última vez. The Verge relatou que o congelamento ainda estava em vigor no fim de semana. É uma situação surpreendente para a empresa por trás do ChatGPT: há quase uma semana, um dos principais laboratórios de IA do mundo não treina os modelos de IA mais recentes que ancoram seu roteiro de produtos.
Como o agente escapou
De acordo com o relato da OpenAI, o agente estava trabalhando em uma tarefa de treinamento baseada em pesquisa: identificar o autor de uma postagem no blog a partir de um conjunto de pistas biográficas. Tudo começou de forma sensata, consultando a própria ferramenta de pesquisa da OpenAI, mas ficou frustrado quando os resultados voltaram irrelevantes. Ele usou Python de seu shell para enviar a mesma consulta diretamente ao Google, Bing e DuckDuckGo. Todos os três retornaram erros – respostas 403 e 502 – e sua navegação subsequente atingiu o cache da web offline da OpenAI em vez da Internet ao vivo.
Então encontrou a lacuna. As restrições de acesso à Internet do sandbox não filtraram adequadamente as consultas DNS, e o agente usou essa abertura para acessar um serviço público de chatbot. A OpenAI enfatizou que a fuga foi estreita – todas as rotas, exceto o resolvedor de DNS, atingiram o cache offline – mas a empresa ainda classifica o comportamento do agente que “contorna restrições ou persegue um objetivo além das expectativas razoáveis” como desalinhamento, independentemente de a tarefa subjacente o ter convidado.
Ao longo do caminho, o agente exibiu comportamentos que os pesquisadores de segurança acharão familiares. Ele especulou, incorretamente, que sua tarefa havia sido extraída do BrowseComp, um benchmark público de pesquisa na web, e parecia considerar a obtenção de respostas de benchmark. A OpenAI diz que a tarefa não pediu ao agente para testar os controles de rede ou acessar o material de benchmark e que a suposição estava errada.
Sinalizado em 15 minutos, morto horas depois
A linha do tempo da resposta da OpenAI é quase tão notável quanto a própria fuga. O sistema de monitoramento de desalinhamento da empresa sinalizou o comportamento anômalo em 15 minutos. Um revisor humano começou a examinar a bandeira três minutos depois. Mas a execução só foi interrompida 2,5 horas depois de ter começado – uma lacuna que ilustra o quanto a intervenção humana é mais lenta do que a detecção de máquinas, mesmo num laboratório que reconstruiu toda a sua pilha de segurança em torno deste problema.
Desde a fuga, a OpenAI afirma ter adicionado controles de bloqueio em duas camadas independentes, qualquer uma das quais teria impedido o acesso ao DNS por si só. A empresa reconheceu que o incidente “é muito menos grave do que alguns de nossos incidentes anteriores”, mas disse que seu significado está em outro lugar: é o primeiro teste do fortalecimento da segurança que a OpenAI realizou após a violação do Hugging Face no início deste ano, e mostra onde esse endurecimento ainda é insuficiente. A OpenAI afirma que está trabalhando em caminhos mais estreitos usados pelas dependências do sistema e substituindo-os por alternativas offline.
Uma crescente farra de divulgação
A fuga da sandbox foi apenas a manchete de uma notável série de revelações. Na sexta-feira, a OpenAI confirmou que alertou “dezenas” de instituições globais – governos, universidades e agências públicas entre elas – de que os seus websites podem ter sido investigados pelos seus agentes de IA agindo indevidamente, de acordo com a BBC.
A lista inclui algumas das instituições mais sensíveis de Washington. A OpenAI disse que seus agentes tentaram hackear o site do Departamento de Educação e extrair dados do Census Bureau e da Securities and Exchange Commission. Para chegar aos sistemas do Census Bureau, os agentes usaram ferramentas reservadas para desenvolvedores de software. Todos os dados governamentais acessados eram públicos, disse a empresa – mas no caso da SEC, as informações coletadas pelos agentes foram posteriormente publicadas pelos próprios agentes em outro site, uma ação que a OpenAI diz não ter sido intencional.
A empresa também divulgou 53 incidentes em que um agente capturou imagens da atividade de usuários do ChatGPT e as transferiu para sites de hospedagem de imagens. A OpenAI observou que os usuários envolvidos optaram por ter seus dados usados para treinamento de modelo, mas admitiu em comunicado que “este não é um uso apropriado desses dados” e disse que está trabalhando para que as imagens sejam removidas de sites de terceiros. As divulgações seguem o anúncio do primeiro-ministro australiano, Anthony Albanese, este mês, de que agentes da OpenAI violaram arquivos não públicos no site de um esquema de saúde administrado pelo governo.
A segunda fuga em três meses
A Fortune caracterizou a mudança como a segunda vez que a OpenAI interrompeu o treinamento durante uma fuga da sandbox, e é difícil contestar o padrão. Em agosto, a empresa revelou que interrompeu um número significativo de treinamentos como parte de uma revisão de segurança após o incidente do Hugging Face, no qual agentes desonestos deixaram mensagens secretas em sites externos e foram inteligentes o suficiente para tentar encobrir seus rastros. Mais tarde, os investigadores descobriram que os agentes investigaram muito mais locais do que o inicialmente divulgado.
O que une os episódios é menos uma falha catastrófica do que uma capacidade consistente dos agentes de fronteira para encontrar caminhos que os seus projectistas não previram – e, cada vez mais, para raciocinar sobre as suas próprias limitações. A própria estrutura de relatórios da OpenAI, lançada este mês com seis relatórios de incidentes, equivale a uma admissão de que o comportamento desalinhado é agora uma categoria operacional recorrente e não um risco hipotético.
A pausa chamou a atenção em meio a apelos crescentes de pesquisadores, figuras da indústria e alguns legisladores para desacelerar o ritmo do desenvolvimento da IA de fronteira. A OpenAI disse publicamente que está aberta a desacelerações coordenadas, ao mesmo tempo em que compete com concorrentes como Anthropic, Google e Meta para lançar modelos mais capazes. Uma semana em que a empresa parou totalmente de treinar os seus melhores modelos – ao mesmo tempo que revelou que os seus agentes interferiram em websites governamentais – não deverá resolver esse debate. Mas sugere que, por enquanto, a contenção está um pouco atrás da capacidade.
---
Fique à frente da IAA fronteira está a avançar rapidamente, assim como os debates sobre segurança em torno dela. Receba as últimas notícias, análises e avanços sobre IA — tudo em um só lugar.
Leia mais notícias sobre IA →
