Americká armáda téměř nastoupila na čínskou loď kvůli AI-halucinované zpravodajské zprávě

Americká armáda se nebezpečně přiblížila k zachycení čínského plavidla na základě zpravodajské zprávy, která byla vytvořena pomocí chatbota s umělou inteligencí a která se ukázala jako zcela nepravdivá, podle exkluzivního článku zveřejněného ve čtvrtek CNN.

Epizoda, kterou CNN popsaly čtyři zdroje obeznámené s touto záležitostí, začala na začátku letošního jara — uprostřed války s Íránem — když americkou armádou kolovala zpráva, která tvrdila, že čínská loď na Blízkém východě převážela součásti programu jaderných zbraní. Zpráva okamžitě spustila poplašné zvony a armáda se vrhla do akce s plány na zachycení plavidla. Chcete-li pravidelně pokrývat příběhy, jako je tento, sledujte zprávy o AI, jak se vyvíjejí.

Letadla ve vzduchu, nástup na palubu připraven

Podle dvou zdrojů CNN se na palubu lodi připravovali ozbrojení příslušníci americké armády. Vojenská letadla už byla ve vzduchu, uvedl jeden zdroj.

Teprve těsně před plánovanou operací se úředníci hlouběji ponořili do zprávy – sestavené analytikem velení speciálních operací – a zjistili, že byla vygenerována s pomocí umělé inteligence a že chatbot, kterého analytik použil, nepřesně identifikoval materiál, který loď převážela. CNN uvedla, že nebyla schopna zjistit, o jaký nesprávně identifikovaný náklad ve skutečnosti jde.

Jeden zdroj popsal zprávu jako „zcela nepravdivou“. Zdroj také uvedl, že „téměř rozpoutala válku“ – protože jakákoli americká operace proti čínskému plavidlu mohla riskovat, že se zvrhne v ozbrojený konflikt mezi těmito dvěma národy.

Jak byla sestavena falešná zpráva

Analytik se dotázal chatbota na zpravodajské hlášení o lodním seznamu, který pocházel z amerického velitelství speciálních operací Pacific se sídlem na Havaji. CNN uvedla, že není jasné, zda byl chatbot komerčně dostupný produkt nebo nástroj vlády USA.

Robot spojil open source zpravodajství s tajným signálovým zpravodajstvím ve vládních državách a dospěl k osudovému závěru o materiálu na palubě lodi. Analytik poté použil AI podruhé – k zabalení zjištění do standardní zpravodajské zprávy, jaké důvěřují vojenští úředníci – a rozšířil ji do systému.

Americké velitelství speciálních operací Pacific a Pentagon na žádost CNN o komentář nereagovaly.

Vojenské závody o přijetí AI

Téměř minout přistane v okamžiku, kdy se představitelé napříč americkou vojenskou a zpravodajskou komunitou snaží začlenit umělou inteligenci do téměř každého aspektu své práce – od analýzy obrovského množství hrubých zpravodajských informací a výběru cílů pro údery až po všední aplikace, jako je rozpočtování, logistika a dodavatelské řetězce.

V lednu vydal ministr obrany Pete Hegseth „Strategii zrychlení umělé inteligence“ ministerstva, která má urychlit armádu zavádění umělé inteligence. "Uvolníme experimentování, odstraníme byrokratické překážky, zaměříme své investice a předvedeme přístup k provádění potřebný k zajištění toho, že budeme v čele vojenské umělé inteligence," řekl Hegseth v projevu oznamujícím strategii.

Strategie výslovně vyzývá k demokratizaci přístupu a nařizuje ministerstvu, aby vložilo „přední americké modely umělé inteligence přímo do rukou našich tří milionů civilních a vojenských pracovníků na všech úrovních klasifikace“.

Žádná jediná sada pravidel

Ale úsilí je decentralizované, řeklo CNN několik amerických úředníků, přičemž různé části vlády používají různé nástroje v rámci různých příkazů a bezpečnostních norem. Neexistuje žádný soubor standardů pro to, jak USA ověřují informace generované těmito nástroji, a spolehlivost různých systémů se značně liší.

"Interní nástroje jsou většinou jen kopie komerčních věcí, které nosí rtěnku," řekl CNN bývalý vysoký americký úředník obeznámený se systémy umělé inteligence, které používají vojenští a zpravodajští analytici.

AI Targeting "Ramping Up" s malým vedením

Zdroje uvedly, že armáda se rychle obrací na AI, aby pomohla se zaměřováním – oblast, která nese zjevné riziko fatálních chyb. "AI v zaměřování je rozhodně něco, co narůstá, a neexistuje žádný skutečný návod, jak mít člověka ve smyčce zabrání civilním obětem nebo bratrovraždě," řekl CNN další zdroj obeznámený se současnou politikou armády.

Analytici již dlouho varovali, že umělá inteligence by mohla přispět ke katastrofálnímu chybnému výpočtu, pokud by se národní státy spoléhaly na špatná nebo poškozená data – přesně ten druh chybného výpočtu, který mohl vést Spojené státy k palbě na čínskou loď na základě nepřesných informací.

Podle CNN nebyl druh halucinací za falešnou zprávou o lodi ojedinělým incidentem napříč zpravodajskou komunitou od doby, kdy se tyto nástroje začaly šířit prostřednictvím vlády.

„AI vám umožní rychleji se dostat ke špatnému nápadu“

Po řadu strašných varování ze Silicon Valley o možnosti, že by se umělá inteligence mohla osvobodit od lidských omezení, už týdny intenzivně debatují o AI. Epizoda s čínskou lodí však podtrhuje jiné a bezprostřednější riziko: lidské bytosti dělají katastrofální rozhodnutí na základě nepřesných nebo zavádějících informací generovaných systémy AI.

Několik zdrojů řeklo CNN, že zejména mladší analytici – domorodci s těmito nástroji – jim budou pravděpodobněji nekriticky důvěřovat a že AI zesílila tlak na analytiky, aby produkovali a šířili informace rychleji, což otevírá dveře chybám.

"AI vám umožňuje rychleji se dostat ke špatnému nápadu," uvedl jeden ze zdrojů.

Tato epizoda pravděpodobně podnítí již tak žhavou debatu o tom, jak rychle by měla americká armáda začlenit AI do svých nejcitlivějších pracovních postupů a jaké ověřovací kroky by měly být povinné, než hlášení pomocí AI může přesunout vojáky, letadla a ozbrojený personál směrem k potenciální bojové operaci. Podrobnosti prozatím naznačují, že existující ochranná opatření jsou spletitá – a že v tomto případě rozdíl mezi rutinní zpravodajskou zprávou a mezinárodním incidentem připadl na úředníky, kteří to náhodou překontrolovali.

Udržujte si náskok před umělou inteligencí

Další informace o zásadách umělé inteligence, národní bezpečnosti a modelech, které obojí utvářejí, naleznete přečtěte si další zprávy o umělé inteligenci.