Förenta staternas militär kom närmare en direkt konfrontation med Kina än nästan någon insåg i våras - och enligt en exklusiv CNN som publicerades på fredagen var en AI-hallucination anledningen till detta.
Rapporten beskriver hur ett underrättelsedokument som skapats med hjälp av en chatbot startade en händelsekedja som hade beväpnat amerikansk personal som förberedde sig för att gå ombord på ett kinesiskt fartyg i Mellanöstern, i tron att fartyget transporterade delar av ett kärnvapenprogram. Militära flygplan var redan i luften, enligt källor som är bekanta med operationen. For more context on this story, see our ongoing AI industry coverage.
Uppdraget skrotades först strax före den planerade avlyssningen, när tjänstemän grävde djupare i rapporten och upptäckte att dess centrala påstående – det som hade mobiliserat den amerikanska militären – var fel.
En källa som är bekant med episoden beskrev underrättelserapporten till CNN som "helt falsk". Det, sade källan, "startade nästan ett krig." Varje amerikansk operation mot ett kinesiskt fartyg kunde ha lett till en väpnad konflikt mellan de två nationerna.
Hur en chatbots påstående blev en militär operation
Episoden började i våras, mitt i kriget med Iran, när en underrättelserapport började cirkulera över den amerikanska militären. Dokumentet hävdade att ett kinesiskt fartyg i Mellanöstern bar kärnvapenprogramkomponenter, och det utlöste omedelbart varningsklockor.
Enligt CNN sammanställdes rapporten av en analytiker vid US Special Operations Command som hade frågat en chatbot om underrättelserapportering om fartygets manifest – rapportering som härrörde från US Special Operations Command Pacific, baserat på Hawaii. Det är fortfarande oklart om chatboten var en kommersiellt tillgänglig produkt eller ett amerikanskt statligt verktyg. En före detta högt uppsatt amerikansk tjänsteman som är bekant med AI-systemen som används av militär- och underrättelseanalytiker erbjöd CNN en rak bedömning av regeringens interna erbjudanden: "De interna verktygen är för det mesta bara kopior av kommersiella saker som bär läppstift."
Chatboten kombinerade öppen källkodsintelligens med hemliga signalunderrättelser som innehas av regeringen och nådde sin ödesdigra slutsats om fartygets last. Analytikern använde sedan AI en andra gång för att paketera resultaten i en standardunderrättelserapport – den snälla militära tjänstemän är vana vid att lita på – och spred det.
Fyra källor som är bekanta med avsnittet talade med CNN. Enligt två av dem förberedde sig beväpnade medlemmar av den amerikanska militären för att gå ombord på fartyget när rapporteringen föll isär. CNN kunde inte ta reda på vad den felidentifierade lasten faktiskt var. US Special Operations Command Pacific och Pentagon svarade inte på CNN:s begäran om kommentar.
En accelerationsstrategi möter en verklighetskontroll
Nästan-missen landar i ett ögonblick när Pentagon pressar på att väva in AI i nästan alla aspekter av sitt arbete – analysera enorma volymer av rå intelligens, välja mål för strejker och hantera mer vardagliga uppgifter som budgetering, logistik och försörjningskedjor.
I januari släppte försvarsminister Pete Hegseth avdelningens "Artificial Intelligence Acceleration Strategy", ett försök att påskynda införandet av militär AI.
"Vi kommer att släppa lös experiment, eliminera byråkratiska barriärer, fokusera våra investeringar och demonstrera den exekveringsmetod som behövs för att säkerställa att vi leder inom militär AI", sa Hegseth i ett tal som tillkännagav strategin.
Det medföljande memoet går längre och beordrar avdelningen att göra AI tillgänglig genom flera program med syftet att "demokratisera AI-experiment och transformation över hela avdelningen genom att lägga USA:s världsledande AI-modeller direkt i händerna på våra tre miljoner civila och militära personal, på alla klassificeringsnivåer."
Men insatsen är decentraliserad, sa flera amerikanska tjänstemän till CNN, där olika delar av regeringen använder olika verktyg under olika order och säkerhetsstandarder. Det finns ingen enskild uppsättning standarder för att verifiera information som genereras av dessa verktyg, och tillförlitligheten hos de olika systemen varierar kraftigt.
Inriktning är där risken bor
Analytiker har länge fruktat att AI kan bidra till en katastrofal missräkning om nationalstater agerar på dålig eller korrupt data. Episoden av det kinesiska fartyget är ett dokumenterat fall av exakt det felläget som bildas i realtid - och av att säkerhetsåtgärderna inte lyckades fånga det förrän i sista stund.
"AI i målinriktning är definitivt något som ökar, och det finns ingen riktig vägledning för hur att ha en människa i slingan kommer att förhindra civila offer eller brodermord", sa en annan källa som är bekant med militärens nuvarande policy till CNN.
Enligt CNN:s rapportering har den typ av hallucination som orsakade det falska påståendet inte varit en isolerad incident i underrättelsetjänsten sedan AI-verktyg började spridas genom regeringen. Flera källor pekade också på en kulturell risk: yngre analytiker, som beskrivs som infödda i dessa verktyg, är mer benägna att lita på dem okritiskt, och trycket att producera intelligens snabbare lämnar mer utrymme för misstag.
"AI gör att du kan komma till en dålig idé snabbare", sa en källa.
En mer omedelbar risk än superintelligens
I flera veckor har Washington konsumerats av en debatt om långsiktig AI-risk, efter en serie ödesdigra offentliga varningar från Silicon Valley-ingenjörer och tekniska chefer om system som potentiellt går fria från mänskliga begränsningar. CNN-rapporten understryker en annan och mer omedelbar fara: människor fattar katastrofala beslut baserat på felaktiga eller vilseledande AI-utdata - just nu, mitt i verkliga geopolitiska spänningar.
Inga skott avlossades i våras och ombordstigningen skedde aldrig. Men avsnittet står som det tydligaste exemplet hittills på att maskingenererade fel, när de väl tvättats in i officiell rapportering, kan färdas genom världens mäktigaste militärapparat hela vägen till kanten av väpnad konflikt mellan kärnvapenmakter – utan någon stående verifieringsstandard på plats för att stoppa nästa.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
