Het Amerikaanse leger kwam dichter bij een directe confrontatie met China dan bijna iedereen dit voorjaar besefte – en volgens een exclusieve vrijdag gepubliceerde CNN was een AI-hallucinatie de reden waarom.

Het rapport beschrijft hoe een inlichtingendocument gegenereerd met behulp van een chatbot een reeks gebeurtenissen in gang zette waarbij gewapend Amerikaans personeel zich voorbereidde om aan boord van een Chinees schip in het Midden-Oosten te gaan, in de overtuiging dat het schip onderdelen van een kernwapenprogramma vervoerde. Volgens bronnen die bekend zijn met de operatie waren er al militaire vliegtuigen in de lucht. Voor meer context over dit verhaal, zie ons laatste AI-ontwikkelingen.

De missie werd pas vlak voor de geplande onderschepping geschrapt, toen functionarissen dieper in het rapport doken en ontdekten dat de centrale claim – die het Amerikaanse leger had gemobiliseerd – onjuist was.

Een bron die bekend was met de aflevering beschreef het inlichtingenrapport aan CNN als ‘volledig vals’. Het was ook, zo zei de bron, "bijna een oorlog begonnen." Elke Amerikaanse operatie tegen een Chinees schip had kunnen uitmonden in een gewapend conflict tussen de twee naties.

Hoe de claim van een chatbot een militaire operatie werd

De episode begon dit voorjaar, midden in de oorlog met Iran, toen een inlichtingenrapport onder het Amerikaanse leger begon te circuleren. Het document beweerde dat een Chinees schip in het Midden-Oosten onderdelen van het kernwapenprogramma aan boord had, en er gingen onmiddellijk alarmbellen rinkelen.

Volgens CNN is het rapport opgesteld door een analist van het Amerikaanse Special Operations Command, die een chatbot had ondervraagd over de inlichtingenrapportage op het scheepsmanifest – rapportage die afkomstig was van het US Special Operations Command Pacific, gevestigd in Hawaï. Het blijft onduidelijk of de chatbot een commercieel verkrijgbaar product was of een hulpmiddel van de Amerikaanse overheid. Een voormalige hoge Amerikaanse functionaris die bekend was met de AI-systemen die door militaire en inlichtingenanalisten worden gebruikt, gaf CNN een botte beoordeling van het interne aanbod van de regering: "De interne instrumenten zijn meestal slechts kopieën van het commerciële spul met lippenstift."

De chatbot combineerde open source-inlichtingen met geheime informatie uit berichtenverkeer die in handen was van de overheid en kwam tot een noodlottige conclusie over de lading van het schip. De analist gebruikte vervolgens AI een tweede keer om de bevindingen te bundelen in een standaard inlichtingenrapport – het soort militaire functionarissen dat gewend zijn te vertrouwen – en verspreidde dit rapport.

Vier bronnen die bekend waren met de aflevering spraken met CNN. Volgens twee van hen waren gewapende leden van het Amerikaanse leger zich aan het voorbereiden om aan boord van het schip te gaan toen de berichtgeving uiteenviel. CNN kon niet achterhalen wat de verkeerd geïdentificeerde lading eigenlijk was. Het Amerikaanse Special Operations Command Pacific en het Pentagon reageerden niet op het verzoek van CNN om commentaar.

Een versnellingsstrategie ontmoet een reality check

De bijna-ongeluk komt terecht op een moment waarop het Pentagon AI probeert te verweven in bijna elk facet van zijn werk: het analyseren van enorme hoeveelheden ruwe intelligentie, het selecteren van doelwitten voor stakingen en het afhandelen van meer alledaagse taken zoals budgettering, logistiek en toeleveringsketens.

In januari publiceerde minister van Defensie Pete Hegseth de ‘Artificial Intelligence Acceleration Strategy’ van het departement, een poging om de adoptie van militaire AI te versnellen.

“We zullen experimenten ontketenen, bureaucratische barrières wegnemen, onze investeringen concentreren en de uitvoeringsaanpak demonstreren die nodig is om ervoor te zorgen dat we leidend zijn op het gebied van militaire AI”, zei Hegseth in een toespraak waarin hij de strategie aankondigde.

De begeleidende memo gaat nog verder en beveelt het ministerie om AI beschikbaar te maken via verschillende programma’s met als doel ‘het democratiseren van AI-experimenten en -transformatie in het hele ministerie door Amerika’s toonaangevende AI-modellen rechtstreeks in handen te geven van onze drie miljoen burger- en militair personeel, op alle classificatieniveaus.’

Maar de inspanningen zijn gedecentraliseerd, vertelden meerdere Amerikaanse functionarissen aan CNN, waarbij verschillende delen van de regering verschillende instrumenten gebruiken onder verschillende orders en veiligheidsnormen. Er bestaat niet één set standaarden voor het verifiëren van de informatie die door deze tools wordt gegenereerd, en de betrouwbaarheid van de verschillende systemen varieert sterk.

Targeting is het risico

Analisten vrezen al lang dat AI zou kunnen bijdragen aan een catastrofale misrekening als natiestaten zouden handelen op basis van slechte of corrupte gegevens. De Chinese scheepsepisode is een gedocumenteerd voorbeeld van precies die faalwijze die zich in realtime vormt – en van de beveiligingsmaatregelen die dit tot het laatste moment niet hebben kunnen onderkennen.

“AI bij het richten is zeker iets dat in opkomst is, en er is geen echte richtlijn voor hoe het hebben van een mens in de lus burgerslachtoffers of broedermoord zal voorkomen”, vertelde een andere bron die bekend was met het huidige beleid van het leger aan CNN.

Volgens de berichtgeving van CNN is het soort hallucinatie dat tot de valse bewering heeft geleid geen op zichzelf staand incident binnen de inlichtingengemeenschap geweest sinds AI-hulpmiddelen zich via de overheid begonnen te verspreiden. Verschillende bronnen wezen ook op een cultureel risico: jongere analisten, beschreven als natives van deze tools, zullen ze eerder kritiekloos vertrouwen, en de druk om sneller inlichtingen te produceren laat meer ruimte voor fouten.

"AI stelt je in staat sneller tot een slecht idee te komen", aldus een bron.

Een directer risico dan superintelligentie

Wekenlang wordt Washington verteerd door een debat over het AI-risico op de lange termijn, na een reeks ernstige publieke waarschuwingen van ingenieurs en tech-managers uit Silicon Valley over systemen die mogelijk loskomen van menselijke beperkingen. Het CNN-rapport onderstreept een ander en directer gevaar: mensen die rampzalige beslissingen nemen op basis van onnauwkeurige of misleidende AI-output – juist nu, midden in echte geopolitieke spanningen.

Dit voorjaar zijn er geen schoten afgevuurd en is er nooit aan boord gegaan. Maar dit voorval is het duidelijkste voorbeeld tot nu toe dat door machines gegenereerde fouten, eenmaal witgewassen in officiële berichtgeving, door het machtigste militaire apparaat ter wereld kunnen reizen, helemaal tot aan de rand van een gewapend conflict tussen kernmachten – zonder dat er een permanente verificatiestandaard bestaat om de volgende te stoppen.

---

Blijf Voorop met AI

Het laatste AI-nieuws, analyses en doorbraken — allemaal op één plek.

Lees meer AI-nieuws →