Os principais modelos de IA da Anthropic, OpenAI, Google, DeepSeek e outros laboratórios podem ser manipulados para identificar possíveis alvos de ataques militares – incluindo civis e soldados que se rendem – em imagens de drones e satélites e, em muitos casos, bastava dizer aos modelos que eles estavam jogando um jogo, de acordo com um novo relatório de pesquisa da startup de avaliação de IA Vals.

As descobertas, divulgadas pelo TechCrunch, chegam num momento em que o debate sobre a IA na guerra passou de hipotético para institucional. A Anthropic entrou em conflito no início deste ano com o Departamento de Defesa sobre os limites ao uso militar da sua tecnologia, e governos em todo o mundo estão a investir em sistemas autónomos. O relatório sugere que as barreiras de segurança que separam os chatbots comerciais das funções de apoio ao combate são mais tênues do que sugerem os compromissos públicos da indústria. A cobertura contínua de desenvolvimentos de segurança e ética em IA continua monitorando como os laboratórios respondem.

Como funcionaram os testes

Vals, uma startup de avaliação de IA com sede em São Francisco, testou se os principais modelos de IA poderiam ser manipulados para participarem de guerras autônomas. Os investigadores construíram cenários simulados de campos de batalha utilizando uma combinação de imagens geradas e reais da Ucrânia e do Irão, e depois pediram aos modelos que marcassem alvos potenciais em imagens de drones e de satélite.

Os modelos da OpenAI, Anthropic, Google, DeepSeek e outras empresas identificaram frequentemente alvos potenciais nas imagens – incluindo civis e soldados que tentavam render-se. Nenhuma das solicitações dos pesquisadores foi bloqueada por um classificador de segurança e as recusas eram incomuns. Quando os modelos se recusavam a cooperar, os pesquisadores muitas vezes conseguiam desbloqueá-los simplesmente alegando que os cenários do campo de batalha faziam parte de um jogo.

Em alguns cenários, foi solicitado aos modelos que relatassem se as pessoas estavam visíveis nas imagens. Os relatórios positivos foram seguidos por ataques simulados, o que significa que os modelos observaram as consequências dos seus próprios relatórios alvo.

Modelos antrópicos tiveram pior desempenho

Talvez o detalhe mais impressionante: os modelos de IA da Anthropic tiveram o pior desempenho nos cenários simulados – embora o relatório deixe claro que nenhum dos modelos testados teve um desempenho particularmente bom. A postura defensiva da empresa em relação às aplicações militares não se traduziu numa resistência eficaz nas condições de teste.

Um porta-voz da Antrópico, Eduardo Maia Silva, disse ao TechCrunch que a empresa aprecia o relatório, as recomendações e a colaboração de Vals e reconheceu que os resultados não eram aceitáveis. “Os exemplos no relatório vão claramente contra as nossas regras e banimos e iremos banir os utilizadores quando virmos este comportamento”, afirmou a empresa num comunicado. “Mesmo para configurações autorizadas, a Anthropic há muito tempo afirma que os atuais sistemas de IA de fronteira não são confiáveis ​​o suficiente para alimentar armas totalmente autônomas.”

A Anthropic disse ao TechCrunch que suas equipes já estavam desenvolvendo salvaguardas adicionais antes da publicação do relatório, que essas medidas entrarão em vigor em breve e que a empresa está expandindo seus próprios testes e aprimorando as salvaguardas e a fiscalização para resolver quaisquer lacunas que encontrar.

O porta-voz da OpenAI, Nate Evans, disse que a empresa proíbe o uso de seus modelos públicos para facilitar a violência ou para fins de segurança nacional não aprovados, incluindo os cenários simulados por Vals. “Detectamos e interrompemos ativamente o uso indevido, inclusive suspendendo contas que violam nossas políticas”, disse a empresa em comunicado enviado por e-mail. “Também estamos desenvolvendo salvaguardas adicionais para nossos modelos públicos contra o uso indevido envolvendo drones e software de drones”.

O impasse de armas autônomas

As descobertas chegam em meio a uma disputa não resolvida entre os laboratórios de IA e o Pentágono sobre como a IA militar pode ser usada. No início deste ano, a Anthropic disse ao Departamento de Defesa que não poderia usar a tecnologia da empresa para vigilância em massa dos americanos ou para guerra autónoma. O CEO da Anthropic, Dario Amodei, insistiu que os sistemas de IA atuais não são confiáveis ​​o suficiente para tomar decisões de vida ou morte sem um humano no circuito. O Pentágono, por sua vez, argumentou que deveria ser capaz de implantar a tecnologia para qualquer finalidade militar legal.

O relatório Vals aguça essa disputa: se os modelos de consumo podem ser convencidos a marcar alvos com um enquadramento de jogo, a questão é se as políticas das empresas por si só podem manter a linha que as salvaguardas técnicas actualmente não conseguem.

Advertências importantes

O relatório traz limitações significativas que o impedem de ser lido como prova de direcionamento de IA pronto para o campo de batalha. Vals observa que os modelos nunca foram solicitados a tomar decisões diretas sobre greves – uma tarefa que os pesquisadores disseram que os modelos normalmente recusariam. Os desafios técnicos, incluindo a latência e a capacidade limitada de computação a bordo, também dificultam a utilização de modelos de IA de uso geral para direcionamento de drones ao vivo, o que torna a implantação de combate uma ameaça menos imediata do que as descobertas brutas podem sugerir.

Há também uma distinção comercial versus militar. O relatório testou os modelos comerciais vendidos ao público, e não os sistemas especializados que os laboratórios poderiam fornecer aos clientes de defesa sob contrato – e não está claro se as salvaguardas adicionais que as empresas prometeram se aplicariam a destacamentos militares.

Ainda assim, os investigadores alertam que os resultados podem ter consequências terríveis no mundo real: as informações de mira produzidas por um modelo comercial podem ser utilizadas por sistemas de armas autónomos, mesmo que o próprio modelo nunca dispare um tiro.

O que isso significa para a segurança da IA

A importância do relatório tem menos a ver com o comportamento de qualquer modelo isolado e mais com o padrão: nenhum pedido foi bloqueado por um classificador de segurança, as recusas eram raras e a fuga de prisão mais eficaz foi infantil – fingir que a guerra era um jogo. Para uma indústria que apostou a sua legitimidade pública na alegação de que os modelos de fronteira recusarão instruções prejudiciais, este é um dado desconfortável.

As respostas das empresas serão agora testadas na prática: a Anthropic afirma que novas salvaguardas são iminentes e a OpenAI afirma que está a construir proteções específicas para uso indevido de drones. Se essas medidas sobreviverão ao contacto com a próxima ronda de investigação de avaliação é a questão que Vals – e cada vez mais, os decisores políticos – irão colocar.

---

Siga os desenvolvimentos de segurança da IA

Pesquisa, ética e política: as histórias de IA que importam, atualizadas 24 horas por dia.

Leia mais notícias sobre IA →