Os militares dos EUA estiveram perigosamente perto de interceptar um navio chinês com base num relatório de inteligência gerado com a ajuda de um chatbot de IA e que se revelou totalmente falso, de acordo com um exclusivo da CNN publicado na quinta-feira.

O episódio, descrito à CNN por quatro fontes familiarizadas com o assunto, começou no início desta Primavera – no meio da guerra com o Irão – quando um relatório circulou entre as forças armadas dos EUA alegando que um navio chinês no Médio Oriente transportava componentes de um programa de armas nucleares. O relatório imediatamente disparou o alarme e os militares entraram em ação com planos para interceptar a embarcação. Para cobertura regular de histórias como esta, acompanhe as notícias da IA à medida que elas se desenvolvem.

Aviões no ar, festa de embarque pronta

De acordo com duas fontes da CNN, membros armados das forças armadas dos EUA estavam se preparando para embarcar no navio. Aviões militares já estavam no ar, disse uma fonte.

Foi apenas pouco antes da operação planeada que os responsáveis ​​se aprofundaram no relatório – elaborado por um analista do comando de operações especiais – e descobriram que tinha sido gerado com a ajuda de inteligência artificial e que o chatbot utilizado pelo analista tinha identificado incorretamente o material que o navio transportava. A CNN informou que não foi capaz de saber o que realmente era a carga identificada incorretamente.

Uma fonte descreveu o relatório como “completamente falso”. Também, disse a fonte, “quase iniciou uma guerra” – uma vez que qualquer operação dos EUA contra um navio chinês poderia correr o risco de se transformar num conflito armado entre as duas nações.

Como o relatório falso foi construído

O analista questionou um chatbot sobre relatórios de inteligência sobre o manifesto do navio originado do Comando de Operações Especiais dos EUA no Pacífico, com sede no Havaí. A CNN informou que não estava claro se o chatbot era um produto disponível comercialmente ou uma ferramenta do governo dos EUA.

O bot combinou inteligência de código aberto com inteligência de sinais secretos em propriedades do governo e chegou à sua conclusão fatídica sobre o material a bordo do navio. O analista usou então a IA uma segunda vez – para agrupar as descobertas num relatório de inteligência padrão, do tipo em que os oficiais militares confiam – e disseminá-lo por todo o sistema.

O Comando de Operações Especiais dos EUA no Pacífico e o Pentágono não responderam ao pedido de comentários da CNN.

Uma corrida militar para adotar IA

O quase acidente ocorre num momento em que responsáveis de toda a comunidade militar e de inteligência dos EUA estão a pressionar para integrar a IA em quase todas as facetas do seu trabalho – desde a análise de enormes volumes de informação bruta e selecção de alvos para ataques, até aplicações mundanas como orçamento, logística e cadeias de abastecimento.

Em janeiro, o secretário de Defesa Pete Hegseth divulgou a “Estratégia de Aceleração de Inteligência Artificial” do departamento, destinada a acelerar a adoção da IA ​​pelos militares. “Vamos desencadear a experimentação, eliminar as barreiras burocráticas, concentrar os nossos investimentos e demonstrar a abordagem de execução necessária para garantir a liderança na IA militar”, disse Hegseth num discurso anunciando a estratégia.

A estratégia apela explicitamente à democratização do acesso, ordenando ao departamento que coloque “os modelos de IA líderes mundiais da América directamente nas mãos dos nossos três milhões de civis e militares, em todos os níveis de classificação”.

Nenhum conjunto único de regras

Mas o esforço é descentralizado, disseram vários responsáveis dos EUA à CNN, com diferentes partes do governo a utilizar diferentes ferramentas sob diferentes ordens e padrões de segurança. Não existe um conjunto único de normas sobre a forma como os EUA verificam as informações geradas por estas ferramentas e a fiabilidade dos vários sistemas varia muito.

“As ferramentas internas são, em sua maioria, apenas cópias de material comercial usando batom”, disse à CNN um ex-alto funcionário dos EUA familiarizado com os sistemas de IA usados ​​por analistas militares e de inteligência.

A segmentação por IA está 'aumentando' com pouca orientação

Fontes disseram que os militares estão recorrendo rapidamente à IA para ajudar na seleção de alvos – uma área que apresenta o risco óbvio de erros fatais. “A IA na seleção de alvos é definitivamente algo que está aumentando e não há nenhuma orientação real sobre como ter um humano no circuito evitará vítimas civis ou fratricídio”, disse outra fonte familiarizada com as atuais políticas militares à CNN.

Os analistas há muito que alertam que a IA poderá contribuir para um erro de cálculo catastrófico se os Estados-nação confiarem em dados deficientes ou corrompidos – precisamente o tipo de erro de cálculo que poderia ter levado os Estados Unidos a disparar contra um navio chinês com base em informações imprecisas.

De acordo com a CNN, o tipo de alucinação por detrás do falso relatório do navio não foi um incidente isolado na comunidade de inteligência desde que estas ferramentas começaram a proliferar através do governo.

'AI permite que você chegue a uma má ideia mais rapidamente'

Durante semanas, os decisores políticos de Washington têm debatido intensamente a IA, na sequência de uma série de avisos terríveis de Silicon Valley sobre a possibilidade de a IA se libertar das restrições humanas. Mas o episódio do navio chinês sublinha um risco diferente e mais imediato: seres humanos tomando decisões desastrosas com base em informações imprecisas ou enganosas geradas por sistemas de IA.

Várias fontes disseram à CNN que os analistas mais jovens em particular – nativos destas ferramentas – são mais propensos a confiar nelas sem crítica, e que a IA intensificou a pressão sobre os analistas para produzirem e disseminarem inteligência mais rapidamente, abrindo a porta a erros.

“A IA permite que você tenha uma ideia ruim com mais rapidez”, disse uma das fontes.

O episódio provavelmente alimentará um debate já acalorado sobre a rapidez com que os militares dos EUA devem incluir a IA nos seus fluxos de trabalho mais sensíveis, e quais os passos de verificação que devem ser obrigatórios antes que os relatórios assistidos pela IA possam mover tropas, aeronaves e pessoal armado para uma potencial operação de combate. Por enquanto, os detalhes sugerem que as salvaguardas existentes são uma colcha de retalhos – e que, neste caso, a diferença entre um relatório de inteligência de rotina e um incidente internacional recaiu sobre os funcionários que por acaso verificaram novamente.

Fique à frente da IA

Para obter mais relatórios sobre políticas de IA, segurança nacional e os modelos que moldam ambos, leia mais notícias sobre IA.