Armata SUA aproape că a urcat pe o navă chineză din cauza raportului de informații cu halucinații AI

Armata americană s-a apropiat în mod periculos de a intercepta o navă chineză pe baza unui raport de informații care a fost generat cu ajutorul unui chatbot AI și s-a dovedit a fi complet fals, potrivit unei exclusiviste CNN publicate joi.

Episodul, descris CNN de către patru surse familiare cu chestiunea, a început la începutul acestei primăveri – în mijlocul războiului cu Iranul – când un raport a circulat în armata americană care susținea că o navă chineză din Orientul Mijlociu transporta componente ale unui program de arme nucleare. Raportul a declanșat imediat alarma, iar armata a intrat în acțiune cu planuri de a intercepta nava. Pentru o acoperire regulată a unor povești ca aceasta, urmăriți AI news pe măsură ce se dezvoltă.

Avioane în aer, petrecerea de îmbarcare gata

Potrivit a două dintre sursele CNN, membri înarmați ai armatei americane se pregăteau să urce la bordul navei. Avioanele militare erau deja în aer, a spus o sursă.

Abia înainte de operațiunea planificată, oficialii au săpat mai adânc în raport - elaborat de un analist de comandă pentru operațiuni speciale - și au descoperit că acesta a fost generat cu ajutorul inteligenței artificiale și că chatbot-ul pe care analistul îl folosise identificase greșit materialul pe care îl transporta nava. CNN a raportat că nu a putut afla care este de fapt încărcătura identificată greșit.

O sursă a descris raportul ca fiind „complet fals”. De asemenea, a spus sursa, „aproape a început un război” – deoarece orice operațiune a SUA împotriva unei nave chineze ar fi putut risca să se transforme într-un conflict armat între cele două națiuni.

Cum a fost creat raportul fals

Analistul a întrebat un chatbot despre rapoartele de informații despre manifestul navei care provenea de la US Special Operations Command Pacific, cu sediul în Hawaii. CNN a raportat că nu este clar dacă chatbot-ul este un produs disponibil comercial sau un instrument guvernamental american.

Botul a fuzionat informații cu sursă deschisă cu informații cu semnale secrete din exploatațiile guvernamentale și a ajuns la concluzia fatidică despre materialul de la bordul navei. Analistul a folosit apoi AI a doua oară – pentru a include rezultatele într-un raport standard de informații, de tipul în care au încredere oficialii militari – și a diseminat-o în întregul sistem.

Comandamentul pentru Operațiuni Speciale din SUA Pacific și Pentagonul nu au răspuns la cererea de comentarii a CNN.

O cursă militară pentru adoptarea AI

Aproape ratat aterizează într-un moment în care oficialii din comunitatea militară și de informații din SUA fac eforturi pentru a integra AI în aproape fiecare fațetă a muncii lor - de la analiza unor volume uriașe de informații brute și selectarea țintelor pentru lovituri, până la aplicații banale precum bugetarea, logistica și lanțurile de aprovizionare.

În ianuarie, secretarul Apărării Pete Hegseth a lansat „Strategia de accelerare a inteligenței artificiale” a departamentului, menită să accelereze adoptarea AI de către armată. „Vom dezlănțui experimentele, vom elimina barierele birocratice, ne vom concentra investițiile și vom demonstra abordarea de execuție necesară pentru a ne asigura că conducem în IA militară”, a spus Hegseth într-un discurs care a anunțat strategia.

Strategia solicită în mod explicit democratizarea accesului, ordonând departamentului să pună „modelele AI de vârf ale Americii în mod direct în mâinile celor trei milioane de personal civil și militar, la toate nivelurile de clasificare”.

Nu există un singur set de reguli

Dar efortul este descentralizat, au declarat mai mulți oficiali americani pentru CNN, diferite părți ale guvernului folosind diferite instrumente în conformitate cu ordine și standarde de siguranță diferite. Nu există un set de standarde pentru modul în care SUA verifică informațiile generate de aceste instrumente, iar fiabilitatea diferitelor sisteme variază foarte mult.

„Uneltele interne sunt în mare parte doar copii ale obiectelor comerciale care poartă ruj”, a declarat pentru CNN un fost înalt oficial american familiarizat cu sistemele AI utilizate de analiștii militari și de informații.

Direcționarea AI „se intensifică” cu puține îndrumare

Surse au spus că armata apelează rapid la AI pentru a ajuta la țintire – o zonă care prezintă riscul evident de greșeli fatale. „AI în țintire este cu siguranță ceva care crește și nu există nicio îndrumare reală cu privire la modul în care a avea un om în buclă va preveni victimele civile sau fratricidul”, a declarat pentru CNN o altă sursă familiarizată cu politicile actuale ale armatei.

Analiștii au avertizat de mult că AI ar putea contribui la o greșeală de calcul catastrofală dacă statele naționale se bazează pe date slabe sau corupte - tocmai genul de calcul greșit care ar fi putut determina Statele Unite să tragă asupra unei nave chineze pe baza unor informații inexacte.

Potrivit CNN, tipul de halucinație din spatele raportului fals al navei nu a fost un incident izolat în comunitatea de informații, de când aceste instrumente au început să prolifereze prin guvern.

„AI vă permite să ajungeți la o idee proastă mai repede”

De săptămâni, factorii de decizie de la Washington au dezbătut intens AI în urma unei serii de avertismente îngrozitoare din Silicon Valley cu privire la posibilitatea ca AI să se elibereze de constrângerile umane. Dar episodul navelor chinezești subliniază un risc diferit și mai imediat: ființele umane iau decizii dezastruoase bazate pe informații inexacte sau înșelătoare generate de sistemele AI.

Mai multe surse au declarat pentru CNN că analiștii mai tineri, în special, nativi ai acestor instrumente, au mai multe șanse să aibă încredere în ei fără critică și că AI a intensificat presiunea asupra analiștilor pentru a produce și difuza informații mai rapid, deschizând ușa pentru greșeli.

„AI vă permite să ajungeți la o idee proastă mai repede”, a spus una dintre surse.

Episodul ar putea alimenta o dezbatere deja aprinsă cu privire la cât de repede ar trebui armata americană să integreze AI în cele mai sensibile fluxuri de lucru și ce pași de verificare ar trebui să fie obligatorii înainte ca raportarea asistată de AI să poată muta trupele, aeronavele și personalul armat către o potențială operațiune de luptă. Deocamdată, detaliile sugerează că măsurile de protecție existente sunt un mozaic – și că, în acest caz, diferența dintre un raport de informații de rutină și un incident internațional s-a redus la oficialii care au verificat din nou.

Rămâi înaintea AI

Pentru mai multe rapoarte despre politica AI, securitatea națională și modelele care le modelează pe ambele, citește mai multe știri AI.