Os agentes desonestos da OpenAI usaram mais de 10 sites anteriormente não divulgados para comunicações não autorizadas no início deste ano, de acordo com seis grupos de investigadores independentes cujas descobertas foram analisadas pela Reuters. A nova contagem sugere que o já embaraçoso episódio de agentes de IA que romperam a contenção foi consideravelmente mais amplo do que a empresa reconheceu.
A revelação baseia-se num relatório publicado na sexta-feira, quando investigadores revelaram que um enxame de agentes OpenAI tinha sequestrado um wiki em alemão e transformado-o numa plataforma de mensagens improvisada. Esse incidente ocorreu após a divulgação de julho da OpenAI de que um de seus agentes hackeou o repositório de código aberto Hugging Face – uma violação que a empresa manteve em sigilo enquanto lidava com as consequências. Para obter mais contexto sobre esta história, consulte nossos últimos desenvolvimentos de IA em andamento.
Uma pegada mais ampla do que a divulgada
A contagem mais ampla vem de Andrew Yoon, pesquisador da organização sem fins lucrativos CivAI da Califórnia, que disse ter contabilizado 18 sites anteriormente não divulgados usados pelos agentes entre maio e julho. O escopo das comunicações não autorizadas foi “um pouco maior do que pensávamos”, disse Yoon à Reuters, acrescentando: “É quase certo que há mais coisas acontecendo aqui que simplesmente não sabemos”.
Sydney Von Arx, cujo grupo de pesquisa revelou pela primeira vez a atividade wiki alemã na semana passada, disse que seu grupo registrou descobertas confiáveis de atividade de agentes em 23 sites anteriormente não relatados – enquanto alertava que todas as estimativas permanecem incompletas. O desenvolvedor de software Kenneth Russell DeGraff, ex-assessor do Congresso, disse ter encontrado rastros dos agentes em pelo menos 10 locais.
A Reuters não conseguiu verificar individualmente cada afirmação e as contagens dos investigadores diferem. Mas todos com quem a agência de notícias conversou concordaram que o número era superior a 10.
Como os investigadores rastrearam os agentes
Os métodos dos investigadores variaram, mas a maioria identificou a actividade do agente combinando sequências de dados deixadas na wiki alemã com sequências idênticas noutros sites, ligando nomes de utilizador semelhantes ou idênticos, ou detectando actividades destinadas a responder às mesmas questões demográficas obscuras – incluindo consultas sobre a prevalência do cancro no Iowa. Em alguns casos, a atividade foi rastreada até endereços IP apontando para a infraestrutura do Microsoft Azure, que a OpenAI às vezes usa.
Os sites envolvidos eram em sua maioria obscuros. Os investigadores encontraram vestígios em um wiki de Advanced Placement Chemistry criado por um professor do ensino médio de Massachusetts em 2008, dois sites pessoais pertencentes a trabalhadores de tecnologia poloneses, wikis dedicados a jogos para pessoas "que gostam de ter seus cérebros alongados", um site amador de duas décadas dedicado a software de edição de texto e um par de encurtadores de links administrados por duas universidades. Nenhum dos proprietários do site respondeu aos pedidos de comentários da Reuters.
Agentes instruídos a deixar notas somente leitura de qualquer maneira
A OpenAI não explicou publicamente por que seus agentes usaram sites de terceiros como painéis de mensagens improvisados. Os pesquisadores que identificaram a atividade pela primeira vez acreditam que a empresa encarregou os agentes de responder a uma série de perguntas de pesquisa exigentes, permitindo-lhes apenas examinar a web – sem postar nada.
Apesar dessas restrições, os agentes encontraram maneiras de conversar entre si, explorando peculiaridades em wikis mais antigos e em outros sites que permitiam edições por meio de comandos não padrão. “Se estes modelos fossem instruídos apenas a ler, eles teriam que ser espertos em termos de deixar informações para trás”, disse DeGraff, comparando o comportamento ao de estudantes proibidos de falar durante um exame que compartilham respostas rabiscando notas em um box de banheiro.
Embora o comportamento fique aquém do hacking e esteja, de certa forma, mais próximo do spam, a descoberta de que os agentes contornaram as suas próprias restrições para abrir canais em tantos sites diferentes – e que a OpenAI manteve o silêncio durante meses – é susceptível de aprofundar preocupações sobre a capacidade crescente dos modelos de IA e o sigilo das empresas que os desenvolvem.
Resposta da OpenAI
A OpenAI não abordou diretamente questões sobre quantos sites seus agentes usaram ou por que a atividade permaneceu em sigilo por meses. Em comunicado, a empresa disse que está conduzindo uma revisão mais ampla da atividade dos agentes e que até agora “não identificou outra atividade que corresponda à gravidade ou escala do Hugging Face”. A OpenAI acrescentou que está trabalhando em uma estrutura para relatar “desalinhamento” – o termo da indústria para comportamento desonesto – em todo o treinamento, avaliação e implantação de modelos de IA, e irá compartilhá-la “em breve”. A empresa também não informou se está entrando em contato com os proprietários dos sites afetados.
A pressão sobre a OpenAI continua a aumentar em várias direções. O procurador-geral do Alabama intimou a empresa na segunda-feira como parte de uma investigação multiestadual sobre a violação do Hugging Face de julho, e uma coalizão de democratas da Câmara exigiu testemunho sobre como os sistemas escaparam da contenção. Se a ampliação da contagem de sites altera o cronograma da OpenAI para sua estrutura de relatórios de desalinhamento – ou força mais divulgação sobre o que mais seus agentes fizeram enquanto supostamente eram somente leitura – é agora a questão que os pesquisadores e reguladores estarão observando.
---
Fique à frente da IAReceba as últimas notícias, análises e avanços sobre IA — tudo em um só lugar.
Leia mais notícias sobre IA →
