Het Amerikaanse leger kwam gevaarlijk dicht bij het onderscheppen van een Chinees schip op basis van een inlichtingenrapport dat was gegenereerd met behulp van een AI-chatbot en volledig vals bleek te zijn, volgens een exclusief bericht van CNN dat donderdag werd gepubliceerd.

De episode, beschreven aan CNN door vier bronnen die bekend zijn met de zaak, begon eerder dit voorjaar – midden in de oorlog met Iran – toen een rapport door het Amerikaanse leger circuleerde waarin werd beweerd dat een Chinees schip in het Midden-Oosten onderdelen van een kernwapenprogramma vervoerde. Het rapport deed onmiddellijk de alarmbellen rinkelen en het leger kwam in actie met plannen om het schip te onderscheppen. Voor regelmatige berichtgeving over verhalen als deze kunt u AI news volgen terwijl het zich ontwikkelt.

Vliegtuigen in de lucht, boarding party klaar

Volgens twee bronnen van CNN waren gewapende leden van het Amerikaanse leger zich aan het voorbereiden om aan boord van het schip te gaan. Militaire vliegtuigen waren al in de lucht, zei een bron.

Pas vlak voor de geplande operatie doken ambtenaren dieper in het rapport – samengesteld door een analist van het speciale commando-operatiescommando – en ontdekten dat het was gegenereerd met behulp van kunstmatige intelligentie, en dat de chatbot die de analist had gebruikt het materiaal dat het schip vervoerde onnauwkeurig had geïdentificeerd. CNN meldde dat het niet kon achterhalen wat de verkeerd geïdentificeerde lading eigenlijk was.

Eén bron omschreef het rapport als ‘volkomen onwaar’. Het was ook, zo zei de bron, 'bijna een oorlog begonnen' – aangezien elke Amerikaanse operatie tegen een Chinees schip het risico had kunnen lopen dat het uitmondde in een gewapend conflict tussen de twee naties.

Hoe het valse rapport tot stand kwam

De analist had een chatbot ondervraagd over inlichtingenrapportage over het scheepsmanifest dat afkomstig was van het Amerikaanse Special Operations Command Pacific, gevestigd in Hawaï. CNN meldde dat het niet duidelijk was of de chatbot een commercieel verkrijgbaar product was of een hulpmiddel van de Amerikaanse overheid.

De bot combineerde open source-informatie met geheime signalen uit overheidsbezit en kwam tot een noodlottige conclusie over het materiaal aan boord van het schip. De analist gebruikte vervolgens AI een tweede keer – om de bevindingen te bundelen in een standaard inlichtingenrapport, het soort waarop militaire functionarissen vertrouwen – en verspreidde dit over het hele systeem.

Het Amerikaanse Special Operations Command Pacific en het Pentagon reageerden niet op het verzoek van CNN om commentaar.

Een militaire race om AI te adopteren

De bijna-ongelukken komen terecht op een moment waarop functionarissen in de Amerikaanse militaire en inlichtingengemeenschap druk uitoefenen om AI in bijna elk facet van hun werk te verweven – van het analyseren van enorme hoeveelheden ruwe inlichtingen en het selecteren van doelwitten voor aanvallen, tot alledaagse toepassingen zoals budgettering, logistiek en toeleveringsketens.

In januari publiceerde minister van Defensie Pete Hegseth de ‘Artificial Intelligence Acceleration Strategy’ van het ministerie, bedoeld om de adoptie van AI door het leger te versnellen. “We zullen experimenten ontketenen, bureaucratische barrières wegnemen, onze investeringen concentreren en de uitvoeringsaanpak demonstreren die nodig is om ervoor te zorgen dat we leidend zijn op het gebied van militaire AI”, zei Hegseth in een toespraak waarin hij de strategie aankondigde.

De strategie roept expliciet op tot democratisering van de toegang, waarbij het ministerie wordt opgedragen om “Amerika’s toonaangevende AI-modellen rechtstreeks in de handen te leggen van onze drie miljoen burger- en militairen, op alle classificatieniveaus.”

Geen enkele set regels

Maar de inspanningen zijn gedecentraliseerd, vertelden meerdere Amerikaanse functionarissen aan CNN, waarbij verschillende delen van de regering verschillende instrumenten gebruiken onder verschillende orders en veiligheidsnormen. Er bestaat niet één set normen voor de manier waarop de VS de door deze tools gegenereerde informatie verifieert, en de betrouwbaarheid van de verschillende systemen loopt sterk uiteen.

“De interne tools zijn meestal slechts kopieën van het commerciële spul dat lippenstift draagt”, vertelde een voormalige hoge Amerikaanse functionaris die bekend was met de AI-systemen die worden gebruikt door militaire en inlichtingenanalisten aan CNN.

AI-targeting wordt 'opgevoerd' met weinig begeleiding

Bronnen zeiden dat het leger zich snel tot AI wendt om te helpen bij het richten – een gebied dat het duidelijke risico van fatale fouten met zich meebrengt. “AI bij het richten is zeker iets dat in opkomst is en er is geen echte richtlijn voor hoe het hebben van een mens in de lus burgerslachtoffers of broedermoord zal voorkomen”, vertelde een andere bron die bekend was met het huidige beleid van het leger aan CNN.

Analisten waarschuwen al lang dat AI zou kunnen bijdragen aan een catastrofale misrekening als natiestaten vertrouwen op slechte of corrupte gegevens – precies het soort misrekening dat de Verenigde Staten ertoe had kunnen brengen op een Chinees schip te schieten op basis van onnauwkeurige informatie.

Volgens CNN is het soort hallucinatie achter het valse scheepsrapport geen op zichzelf staand incident geweest binnen de inlichtingengemeenschap sinds deze instrumenten zich via de overheid begonnen te verspreiden.

'AI zorgt ervoor dat je sneller tot een slecht idee komt'

Wekenlang hebben beleidsmakers in Washington intensief gedebatteerd over AI, na een reeks ernstige waarschuwingen uit Silicon Valley over de mogelijkheid dat AI zich zou kunnen losmaken van menselijke beperkingen. Maar de Chinese scheepsepisode onderstreept een ander en directer risico: mensen die rampzalige beslissingen nemen op basis van onnauwkeurige of misleidende informatie gegenereerd door AI-systemen.

Verschillende bronnen vertelden CNN dat vooral jongere analisten – die deze tools beheersen – ze eerder kritiekloos zullen vertrouwen, en dat AI de druk op analisten heeft vergroot om sneller informatie te produceren en te verspreiden, waardoor de deur voor fouten wordt geopend.

"AI zorgt ervoor dat je sneller tot een slecht idee komt", aldus een van de bronnen.

Deze episode zal waarschijnlijk een toch al verhit debat aanwakkeren over hoe snel het Amerikaanse leger AI in zijn meest gevoelige workflows moet integreren, en welke verificatiestappen verplicht moeten zijn voordat AI-ondersteunde rapportage troepen, vliegtuigen en gewapend personeel in de richting van een mogelijke gevechtsoperatie kan bewegen. Voorlopig suggereren de details dat de bestaande waarborgen een lappendeken zijn – en dat in dit geval het verschil tussen een routinematig inlichtingenrapport en een internationaal incident neerkwam op ambtenaren die toevallig een dubbele controle uitvoerden.

Blijf AI een stap voor

Voor meer berichtgeving over het AI-beleid, de nationale veiligheid en de modellen die beide vormgeven, lees meer AI-nieuws.