Armáda Spojených států se letos na jaře dostala blíže k přímé konfrontaci s Čínou, než si téměř kdokoli uvědomoval – a podle exkluzivity CNN zveřejněné v pátek byla důvodem halucinace AI.
Zpráva podrobně popisuje, jak zpravodajský dokument vytvořený pomocí chatbota spustil řetězec událostí, které vyzbrojily americký personál připravující se na palubu čínské lodi na Středním východě v domnění, že plavidlo přepravovalo součásti programu jaderných zbraní. Vojenská letadla už byla podle zdrojů obeznámených s operací ve vzduchu. For more context on this story, see our ongoing AI news.
Mise byla zrušena teprve těsně před plánovaným odposlechem, když se úředníci ponořili hlouběji do zprávy a zjistili, že její hlavní tvrzení – to, které zmobilizovalo americkou armádu – bylo mylné.
Jeden zdroj obeznámený s epizodou popsal zpravodajskou zprávu pro CNN jako „zcela falešnou“. Zdroj také uvedl, že "téměř začal válku." Jakákoli americká operace proti čínskému plavidlu by mohla vyústit ve spirálu ozbrojeného konfliktu mezi těmito dvěma národy.
Jak se z nároku Chatbota stala vojenská operace
Tato epizoda začala letos na jaře, uprostřed války s Íránem, kdy americkou armádou začala kolovat zpráva tajných služeb. Dokument tvrdil, že čínská loď na Blízkém východě převážela součásti programu jaderných zbraní, a okamžitě spustil poplašné zvony.
Podle CNN byla zpráva sestavena analytikem amerického velení speciálních operací, který se dotazoval chatbota na zpravodajské zprávy o lodním seznamu – zprávy, které pocházely z amerického velitelství speciálních operací Pacific se sídlem na Havaji. Zůstává nejasné, zda byl chatbot komerčně dostupný produkt nebo nástroj vlády USA. Bývalý vysoký americký úředník obeznámený se systémy umělé inteligence, které používají vojenští a zpravodajští analytici, nabídl CNN strohé hodnocení interních vládních nabídek: "Interní nástroje jsou většinou jen kopie komerčních věcí, které nosí rtěnku."
Chatbot spojil open source inteligenci s tajnou signální inteligencí drženou vládou a dospěl k osudovému závěru o lodním nákladu. Analytik pak použil AI podruhé, aby zabalil zjištění do standardní zpravodajské zprávy – takové, na kterou jsou vojenští představitelé zvyklí důvěřovat – a rozšířil ji.
Pro CNN promluvily čtyři zdroje obeznámené s epizodou. Podle dvou z nich se ozbrojení příslušníci americké armády připravovali na nástup na loď, když se hlášení rozpadla. CNN nebyla schopna zjistit, co ten chybně identifikovaný náklad ve skutečnosti byl. Americké velitelství speciálních operací Pacific a Pentagon na žádost CNN o komentář nereagovaly.
Strategie zrychlení splňuje kontrolu reality
Téměř minout přistane ve chvíli, kdy Pentagon tlačí na začlenění umělé inteligence do téměř každého aspektu své práce – analyzuje obrovské objemy hrubých zpravodajských informací, vybírá cíle pro údery a řeší všednější úkoly, jako je rozpočtování, logistika a dodavatelské řetězce.
V lednu ministr obrany Pete Hegseth zveřejnil „Strategii zrychlení umělé inteligence“, nabídku urychlit přijetí vojenské AI.
"Uvolníme experimentování, odstraníme byrokratické překážky, zaměříme své investice a předvedeme přístup k provádění potřebný k zajištění toho, že budeme v čele vojenské umělé inteligence," řekl Hegseth v projevu oznamujícím strategii.
Doprovodná zpráva jde ještě dále a nařizuje ministerstvu zpřístupnit AI prostřednictvím několika programů s cílem „demokratizovat experimentování a transformaci AI napříč ministerstvem tím, že se přední americké modely AI dají přímo do rukou našich tří milionů civilních a vojenských pracovníků na všech úrovních klasifikace“.
Ale úsilí je decentralizované, řeklo CNN několik amerických úředníků, přičemž různé části vlády používají různé nástroje v rámci různých příkazů a bezpečnostních norem. Neexistuje jediný soubor standardů pro ověřování informací generovaných těmito nástroji a spolehlivost různých systémů se značně liší.
Cílení je místo, kde existuje riziko
Analytici se dlouho obávali, že by umělá inteligence mohla přispět ke katastrofálnímu přepočtu, pokud by národní státy jednaly na základě špatných nebo poškozených dat. Epizoda s čínskou lodí je zdokumentovaným případem, kdy se přesně tento poruchový režim formoval v reálném čase – a pojistky to do poslední chvíle nedokázaly zachytit.
"AI v zaměřování je rozhodně něco, co narůstá, a neexistuje žádný skutečný návod, jak mít člověka ve smyčce zabrání civilním obětem nebo bratrovraždě," řekl CNN další zdroj obeznámený se současnou politikou armády.
Podle zpráv CNN nebyl druh halucinací, který způsobil nepravdivé tvrzení, ojedinělým incidentem napříč zpravodajskou komunitou od doby, kdy se nástroje AI začaly šířit prostřednictvím vlády. Několik zdrojů také poukázalo na kulturní riziko: mladší analytici, popisovaní jako domorodci těchto nástrojů, jim s větší pravděpodobností nekriticky důvěřují a tlak na rychlejší vytváření inteligence ponechává více prostoru pro chyby.
„AI vám umožní rychleji se dostat ke špatnému nápadu,“ uvedl jeden ze zdrojů.
Bezprostřednější riziko než superinteligence
Po sérii strašlivých veřejných varování inženýrů a technologických manažerů ze Silicon Valley o systémech, které se potenciálně osvobozují od lidských omezení, Washington už týdny pohlcuje debata o dlouhodobém riziku umělé inteligence. Zpráva CNN zdůrazňuje jiné a bezprostřednější nebezpečí: lidské bytosti dělají katastrofální rozhodnutí na základě nepřesných nebo zavádějících výstupů AI – právě teď, uprostřed skutečného geopolitického napětí.
Letos na jaře se nestřílelo a k nalodění nikdy nedošlo. Tato epizoda je však zatím nejjasnějším příkladem toho, že strojově generované chyby, jakmile se propírají do oficiálních zpráv, mohou proniknout nejmocnějším vojenským aparátem světa až na pokraj ozbrojeného konfliktu mezi jadernými mocnostmi – bez zavedeného stálého ověřovacího standardu, který by ten další zastavil.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
