Armata SUA aproape că a urcat pe o navă chineză din cauza raportului de informații cu halucinații AI

Armata Statelor Unite s-a apropiat mai mult de o confruntare directă cu China decât și-a dat seama aproape oricine în această primăvară – și conform unei exclusiviste CNN publicate vineri, o halucinație AI a fost motivul pentru care.

Raportul detaliază modul în care un document de informații generat cu ajutorul unui chatbot a declanșat un lanț de evenimente care au înarmat personalul american care se pregătea să urce la bordul unei nave chineze în Orientul Mijlociu, pe convingerea că nava transporta componente ale unui program de arme nucleare. Avioanele militare erau deja în aer, potrivit unor surse familiare cu operațiunea. For more context on this story, see our ongoing AI trends.

Misiunea a fost abandonată abia înainte de interceptarea planificată, când oficialii au săpat mai adânc în raport și au descoperit că afirmația sa centrală – cea care mobilizase armata SUA – era greșită.

O sursă familiarizată cu episodul a descris raportul de informații către CNN ca fiind „complet fals”. De asemenea, a spus sursa, „aproape că a început un război”. Orice operațiune a SUA împotriva unei nave chineze ar fi putut duce la un conflict armat între cele două națiuni.

Cum revendicarea unui chatbot a devenit o operațiune militară

Episodul a început în această primăvară, pe fondul războiului cu Iranul, când un raport de informații a început să circule în armata SUA. Documentul susținea că o navă chineză din Orientul Mijlociu transporta componente ale programului de arme nucleare și a declanșat imediat alarma.

Potrivit CNN, raportul a fost întocmit de un analist de la comandamentul operațiunilor speciale din SUA, care a întrebat un chatbot despre rapoartele de informații pe manifestul navei - raportare care a provenit de la US Special Operations Command Pacific, cu sediul în Hawaii. Rămâne neclar dacă chatbot-ul a fost un produs disponibil comercial sau un instrument guvernamental american. Un fost înalt oficial american familiarizat cu sistemele AI utilizate de analiștii militari și de informații a oferit CNN o evaluare directă a ofertelor interne ale guvernului: „Uneltele interne sunt în mare parte doar copii ale obiectelor comerciale care poartă ruj”.

Chatbot-ul a fuzionat informații cu sursă deschisă cu informații cu semnale secrete deținute de guvern și a ajuns la concluzia fatidică despre încărcătura navei. Analistul a folosit apoi a doua oară AI pentru a împacheta concluziile într-un raport standard de informații – în care oficialii militari sunt obișnuiți să aibă încredere – și l-a difuzat.

Patru surse familiare cu episodul au vorbit cu CNN. Potrivit a doi dintre ei, membri înarmați ai armatei americane se pregăteau să urce la bordul navei când raportarea s-a prăbușit. CNN nu a putut afla care este de fapt încărcătura identificată greșit. Comandamentul pentru Operațiuni Speciale din SUA Pacific și Pentagonul nu au răspuns la cererea de comentarii a CNN.

O strategie de accelerare îndeplinește o verificare a realității

Aproape ratat aterizează într-un moment în care Pentagonul încearcă să integreze AI în aproape fiecare aspect al activității sale – analizând volume uriașe de informații brute, selectând ținte pentru lovituri și gestionând sarcini mai banale, cum ar fi bugetarea, logistica și lanțurile de aprovizionare.

În ianuarie, secretarul Apărării Pete Hegseth a lansat „Strategia de accelerare a inteligenței artificiale” a departamentului, o încercare de a accelera adoptarea IA militară.

„Vom dezlănțui experimentele, vom elimina barierele birocratice, ne vom concentra investițiile și vom demonstra abordarea de execuție necesară pentru a ne asigura că conducem în IA militară”, a spus Hegseth într-un discurs care a anunțat strategia.

Nota de însoțire merge mai departe, ordonând departamentului să pună AI la dispoziție prin mai multe programe, cu scopul de a „democratiza experimentarea și transformarea AI în cadrul Departamentului, punând modelele AI de vârf ale Americii direct în mâinile celor trei milioane de personal civil și militar, la toate nivelurile de clasificare”.

Dar efortul este descentralizat, au declarat mai mulți oficiali americani pentru CNN, diferite părți ale guvernului folosind diferite instrumente în conformitate cu ordine și standarde de siguranță diferite. Nu există un set unic de standarde pentru verificarea informațiilor generate de aceste instrumente, iar fiabilitatea diferitelor sisteme variază foarte mult.

Direcționarea este locul unde trăiește riscul

Analiștii s-au temut de multă vreme că inteligența artificială ar putea contribui la o greșeală de calcul catastrofală dacă statele-națiune acționează pe baza unor date slabe sau corupte. Episodul navei chinezești este un caz documentat în care exact acel mod de defecțiune se formează în timp real - și garanțiile nu reușesc să-l prindă până în ultimul moment.

„AI în țintire este cu siguranță ceva care crește și nu există nicio îndrumare reală cu privire la modul în care un om în buclă va preveni victimele civile sau fratricidul”, a declarat pentru CNN o altă sursă familiarizată cu politicile actuale ale armatei.

Potrivit raportărilor CNN, tipul de halucinație care a produs afirmația falsă nu a fost un incident izolat în comunitatea de informații, de când instrumentele AI au început să prolifereze prin guvern. Mai multe surse au subliniat, de asemenea, un risc cultural: analiștii mai tineri, descriși ca nativi ai acestor instrumente, au mai multe șanse să aibă încredere în ei fără critici, iar presiunea de a produce informații mai rapid lasă mai mult loc pentru erori.

„AI vă permite să ajungeți la o idee proastă mai repede”, a spus o sursă.

Un risc mai imediat decât suprainteligența

Timp de săptămâni, Washingtonul a fost consumat de o dezbatere privind riscul pe termen lung al IA, în urma unei serii de avertismente publice îngrozitoare din partea inginerilor și directorilor de tehnologie din Silicon Valley cu privire la sistemele care ar putea să se elibereze de constrângerile umane. Raportul CNN subliniază un pericol diferit și mai imediat: ființele umane iau decizii dezastruoase bazate pe rezultate inexacte sau înșelătoare ale AI – chiar acum, în mijlocul unor tensiuni geopolitice reale.

În această primăvară nu s-a tras niciun foc, iar îmbarcarea nu a avut loc niciodată. Dar episodul este cel mai clar exemplu de până acum că erorile generate de mașini, odată spălate în rapoartele oficiale, pot călători prin cel mai puternic aparat militar din lume până la marginea conflictului armat dintre puterile nucleare - fără un standard de verificare permanent pentru a opri următorul.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →