USA:s militär gick nästan ombord på kinesiskt skepp över AI-hallucinerad underrättelserapport

En amerikansk operation för att avlyssna ett kinesiskt fartyg stoppades efter att tjänstemän fann att dess intelligens kom från en AI-chatbot - och var helt falsk, säger CNN.

Den amerikanska militären kom farligt nära att fånga upp ett kinesiskt fartyg baserat på en underrättelserapport som genererades med hjälp av en AI-chatbot och visade sig vara helt falsk, enligt en exklusiv CNN som publicerades på torsdagen.

Episoden, som beskrivs för CNN av fyra källor som är bekanta med saken, började tidigare i våras – mitt under kriget med Iran – när en rapport cirkulerade över den amerikanska militären som hävdade att ett kinesiskt fartyg i Mellanöstern transporterade delar av ett kärnvapenprogram. Rapporten utlöste omedelbart varningsklockor och militären satte igång med planer på att avlyssna fartyget. För regelbunden täckning av berättelser som denna, följ AI news när den utvecklas.

Planes in the Air, Boarding Party redo

Enligt två av CNN:s källor förberedde sig beväpnade medlemmar av den amerikanska militären för att gå ombord på fartyget. Militärplan var redan i luften, sa en källa.

Det var först strax före den planerade operationen som tjänstemän grävde djupare i rapporten – sammanställd av en specialoperationskommandoanalytiker – och upptäckte att den hade skapats med hjälp av artificiell intelligens, och att chatboten som analytikern använt hade felaktigt identifierat materialet som fartyget bar. CNN rapporterade att det inte kunde ta reda på vad den felidentifierade lasten faktiskt var.

En källa beskrev rapporten som "helt falsk". Det, sa källan, "startade nästan ett krig" - eftersom varje amerikansk operation mot ett kinesiskt fartyg kunde ha riskerat att spiral in i en väpnad konflikt mellan de två nationerna.

Hur den falska rapporten byggdes

Analytikern hade frågat en chatbot om underrättelserapportering om fartygets manifest som härrörde från US Special Operations Command Pacific, baserat på Hawaii. CNN rapporterade att det inte var klart om chatboten var en kommersiellt tillgänglig produkt eller ett amerikanskt statligt verktyg.

Boten smälte samman öppen källkodsintelligens med hemlig signalintelligens i statliga innehav och nådde sin ödesdigra slutsats om materialet ombord på fartyget. Analytikern använde sedan AI en andra gång - för att paketera resultaten i en standardunderrättelserapport, den typ som militära tjänstemän litar på - och spred det över hela systemet.

US Special Operations Command Pacific och Pentagon svarade inte på CNN:s begäran om kommentar.

En militär tävling för att adoptera AI

Nästan-missen landar i ett ögonblick då tjänstemän över hela den amerikanska militären och underrättelsetjänsten pressar på att väva in AI i nästan alla aspekter av deras arbete - från att analysera enorma volymer av rå intelligens och välja mål för strejker, till vardagliga tillämpningar som budgetering, logistik och försörjningskedjor.

I januari släppte försvarsminister Pete Hegseth avdelningens "Artificial Intelligence Acceleration Strategy", avsedd att påskynda militärens antagande av AI. "Vi kommer att släppa lös experiment, eliminera byråkratiska barriärer, fokusera våra investeringar och demonstrera den exekveringsmetod som behövs för att säkerställa att vi leder inom militär AI", sa Hegseth i ett tal som tillkännagav strategin.

Strategin kräver uttryckligen demokratisering av tillgången, och beordrar avdelningen att lägga "Amerikas världsledande AI-modeller direkt i händerna på våra tre miljoner civila och militära personal, på alla klassificeringsnivåer."

Ingen enskild uppsättning regler

Men insatsen är decentraliserad, sa flera amerikanska tjänstemän till CNN, där olika delar av regeringen använder olika verktyg under olika order och säkerhetsstandarder. Det finns ingen uppsättning standarder för hur USA verifierar information som genereras av dessa verktyg, och tillförlitligheten hos de olika systemen varierar kraftigt.

"De interna verktygen är för det mesta bara kopior av kommersiella prylar som bär läppstift", sa en före detta högt uppsatt amerikansk tjänsteman som är bekant med AI-systemen som används av militär- och underrättelseanalytiker till CNN.

AI-inriktning "ökar upp" med lite vägledning

Källor sa att militären snabbt vänder sig till AI för att hjälpa till med inriktning - ett område som medför den uppenbara risken för fatala misstag. "AI i målinriktning är definitivt något som ökar och det finns ingen riktig vägledning för hur att ha en människa i slingan kommer att förhindra civila offer eller brodermord", säger en annan källa som är bekant med militärens nuvarande policy till CNN.

Analytiker har länge varnat för att AI kan bidra till en katastrofal missräkning om nationalstater förlitar sig på dåliga eller korrupta data – just den typ av felräkning som kunde ha fått USA att skjuta på ett kinesiskt fartyg baserat på felaktig information.

Enligt CNN har den typen av hallucination bakom den falska fartygsrapporten inte varit en isolerad incident i underrättelsetjänsten sedan dessa verktyg började spridas genom regeringen.

'AI låter dig komma till en dålig idé snabbare'

I flera veckor har politiker i Washington intensivt diskuterat AI efter en serie allvarliga varningar från Silicon Valley om möjligheten att AI skulle kunna bryta sig fri från mänskliga begränsningar. Men den kinesiska fartygsepisoden understryker en annan och mer omedelbar risk: människor fattar katastrofala beslut baserat på felaktig eller vilseledande information som genereras av AI-system.

Flera källor sa till CNN att framför allt yngre analytiker – infödda i dessa verktyg – är mer benägna att lita på dem okritiskt, och att AI har intensifierat pressen på analytiker att producera och sprida intelligens snabbare, vilket öppnar dörren för misstag.

"AI gör att du kan komma till en dålig idé snabbare", sa en av källorna.

Avsnittet kommer sannolikt att underblåsa en redan het debatt om hur snabbt den amerikanska militären ska lägga AI i sina mest känsliga arbetsflöden, och vilka verifieringssteg som bör vara obligatoriska innan AI-assisterad rapportering kan flytta trupper, flygplan och beväpnad personal mot en potentiell stridsoperation. För nu tyder detaljerna på att de skyddsåtgärder som finns är ett lapptäcke - och att i det här fallet kom skillnaden mellan en rutinunderrättelserapport och en internationell incident till tjänstemän som råkade dubbelkolla.