Os militares dos Estados Unidos chegaram mais perto de um confronto direto com a China do que quase ninguém imaginava nesta primavera – e de acordo com um exclusivo da CNN publicado na sexta-feira, uma alucinação de IA foi a razão disso.
O relatório detalha como um documento de inteligência gerado com a ajuda de um chatbot desencadeou uma cadeia de eventos que levou militares norte-americanos armados a prepararem-se para embarcar num navio chinês no Médio Oriente, na crença de que o navio transportava componentes de um programa de armas nucleares. Aviões militares já estavam no ar, segundo fontes familiarizadas com a operação. Para mais contexto sobre esta história, confira nossa notícias de IA.
A missão foi cancelada pouco antes da planeada intercepção, quando as autoridades se aprofundaram no relatório e descobriram que a sua afirmação central – aquela que tinha mobilizado os militares dos EUA – estava errada.
Uma fonte familiarizada com o episódio descreveu o relatório de inteligência enviado à CNN como “completamente falso”. Também, disse a fonte, “quase começou uma guerra”. Qualquer operação dos EUA contra um navio chinês poderia ter originado um conflito armado entre as duas nações.
Como a reivindicação de um chatbot se tornou uma operação militar
O episódio começou esta Primavera, em plena guerra com o Irão, quando um relatório de inteligência começou a circular entre as forças armadas dos EUA. O documento afirmava que um navio chinês no Médio Oriente transportava componentes do programa de armas nucleares e imediatamente disparou o alarme.
De acordo com a CNN, o relatório foi elaborado por um analista do comando de operações especiais dos EUA que questionou um chatbot sobre relatórios de inteligência sobre o manifesto do navio – relatórios originados do Comando de Operações Especiais dos EUA no Pacífico, com sede no Havaí. Ainda não está claro se o chatbot era um produto disponível comercialmente ou uma ferramenta do governo dos EUA. Um antigo alto funcionário dos EUA familiarizado com os sistemas de IA utilizados pelos analistas militares e de inteligência ofereceu à CNN uma avaliação contundente das ofertas internas do governo: “As ferramentas internas são, na sua maioria, apenas cópias do material comercial com batom”.
O chatbot fundiu inteligência de código aberto com inteligência de sinais secretos mantidos pelo governo e chegou à sua conclusão fatídica sobre a carga do navio. O analista usou então a IA uma segunda vez para agrupar as descobertas num relatório de inteligência padrão – do tipo em que os oficiais militares estão habituados a confiar – e difundiu-o.
Quatro fontes familiarizadas com o episódio falaram à CNN. Segundo dois deles, membros armados das forças armadas dos EUA preparavam-se para embarcar no navio quando a reportagem desmoronou. A CNN não conseguiu descobrir o que realmente era a carga identificada incorretamente. O Comando de Operações Especiais dos EUA no Pacífico e o Pentágono não responderam ao pedido de comentários da CNN.
Uma estratégia de aceleração encontra uma verificação da realidade
O quase acidente ocorre num momento em que o Pentágono está a pressionar para integrar a IA em quase todas as facetas do seu trabalho – analisando enormes volumes de inteligência bruta, selecionando alvos para ataques e lidando com tarefas mais mundanas, como orçamento, logística e cadeias de abastecimento.
Em janeiro, o secretário de Defesa Pete Hegseth divulgou a “Estratégia de Aceleração de Inteligência Artificial” do departamento, uma tentativa de acelerar a adoção militar da IA.
“Vamos desencadear a experimentação, eliminar as barreiras burocráticas, concentrar os nossos investimentos e demonstrar a abordagem de execução necessária para garantir a liderança na IA militar”, disse Hegseth num discurso anunciando a estratégia.
O memorando que acompanha vai mais longe, ordenando que o departamento disponibilize a IA através de vários programas com o objectivo de "democratizar a experimentação e transformação da IA em todo o Departamento, colocando os modelos de IA líderes mundiais da América directamente nas mãos dos nossos três milhões de pessoal civil e militar, em todos os níveis de classificação".
Mas o esforço é descentralizado, disseram vários responsáveis dos EUA à CNN, com diferentes partes do governo a utilizar diferentes ferramentas sob diferentes ordens e padrões de segurança. Não existe um conjunto único de padrões para verificar as informações geradas por essas ferramentas e a confiabilidade dos vários sistemas varia muito.
A segmentação é onde reside o risco
Os analistas há muito temem que a IA possa contribuir para um erro de cálculo catastrófico se os Estados-nação agirem com base em dados deficientes ou corrompidos. O episódio do navio chinês é um caso documentado exatamente desse modo de falha se formando em tempo real – e das salvaguardas que não conseguiram detectá-lo até o último momento.
“A IA na seleção de alvos é definitivamente algo que está aumentando, e não há nenhuma orientação real sobre como ter um humano no circuito evitará baixas civis ou fratricídio”, disse outra fonte familiarizada com as atuais políticas militares à CNN.
De acordo com a reportagem da CNN, o tipo de alucinação que produziu a falsa afirmação não foi um incidente isolado na comunidade de inteligência desde que as ferramentas de IA começaram a proliferar através do governo. Várias fontes também apontaram para um risco cultural: os analistas mais jovens, descritos como nativos destas ferramentas, são mais propensos a confiar nelas de forma acrítica, e a pressão para produzir informações mais rapidamente deixa mais margem para erros.
“A IA permite que você tenha uma ideia ruim mais rapidamente”, disse uma fonte.
Um risco mais imediato do que a superinteligência
Durante semanas, Washington tem sido consumida por um debate sobre o risco a longo prazo da IA, na sequência de uma série de terríveis avisos públicos de engenheiros e executivos tecnológicos de Silicon Valley sobre sistemas potencialmente libertando-se das restrições humanas. O relatório da CNN sublinha um perigo diferente e mais imediato: seres humanos tomando decisões desastrosas com base em resultados de IA imprecisos ou enganosos – neste momento, no meio de tensões geopolíticas reais.
Nenhum tiro foi disparado nesta primavera e o embarque nunca aconteceu. Mas o episódio constitui o exemplo mais claro de que erros gerados por máquinas, uma vez incluídos em relatórios oficiais, podem viajar através do aparelho militar mais poderoso do mundo até ao limite do conflito armado entre potências nucleares – sem qualquer padrão de verificação permanente em vigor para impedir o próximo.
---
Fique à Frente da IAAs últimas notícias, análises e avanços em inteligência artificial — tudo em um só lugar.
Ler mais notícias de IA →
