Збройні сили Сполучених Штатів підійшли до прямої конфронтації з Китаєм ближче, ніж хтось уявляв цієї весни — і, згідно з ексклюзивом CNN, опублікованим у п’ятницю, причиною цього стала галюцинація ШІ.
У звіті детально описано, як розвідувальний документ, створений за допомогою чат-бота, поклав початок ланцюжку подій, у результаті яких озброєний персонал США готувався піднятися на борт китайського корабля на Близькому Сході, вважаючи, що судно перевозило компоненти програми ядерної зброї. За словами джерел, знайомих з ходом операції, військові літаки вже були в повітрі. For more context on this story, see our ongoing latest AI developments.
Місія була скасована лише безпосередньо перед запланованим перехопленням, коли офіційні особи глибше дослідили звіт і виявили, що його головне твердження — те, що мобілізувало військових США — було неправильним.
Одне джерело, знайоме з епізодом, назвало звіт розвідки для CNN "повністю неправдивим". Крім того, за словами джерела, це "майже почало війну". Будь-яка операція США проти китайського судна могла перерости у збройний конфлікт між двома країнами.
Як заява чат-бота перетворилася на військову операцію
Епізод почався цієї весни, на тлі війни з Іраном, коли звіт розвідки почав циркулювати серед американських військових. У документі стверджувалося, що китайський корабель на Близькому Сході перевозив компоненти програми ядерної зброї, і це негайно викликало сигнал тривоги.
За даними CNN, звіт був складений аналітиком командування спеціальних операцій США, який запитав чат-бота про звіти розвідки про маніфест корабля — звіти, які надійшли від Командування спеціальних операцій США в Тихому океані, що базується на Гаваях. Залишається незрозумілим, чи був чат-бот комерційно доступним продуктом чи інструментом уряду США. Колишній високопоставлений чиновник США, знайомий із системами штучного інтелекту, якими користуються військові аналітики та аналітики розвідки, надав CNN відверту оцінку внутрішніх пропозицій уряду: «Внутрішні інструменти — це здебільшого лише копії комерційних речей, які носять помаду».
Чат-бот поєднав розвідувальні дані відкритого джерела з секретними сигнальними даними, якими володіє уряд, і дійшов доленосного висновку щодо вантажу корабля. Потім аналітик вдруге використав штучний інтелект, щоб упакувати результати в стандартний звіт розвідки — такий, якому звикли довіряти військові чиновники — і поширити його.
CNN повідомили чотири джерела, знайомі з епізодом. За словами двох з них, озброєні військовослужбовці США готувалися піднятися на корабель, коли репортаж розвалився. CNN не вдалося дізнатися, що насправді був помилково ідентифікований вантаж. Командування спеціальних операцій США в Тихоокеанському регіоні та Пентагон не відповіли на запит CNN про коментар.
Стратегія прискорення зустрічається з перевіркою реальності
Майже промах припадає на той момент, коли Пентагон намагається вплести штучний інтелект майже в усі аспекти своєї роботи — аналіз величезних обсягів необроблених даних, вибір цілей для ударів і вирішення більш приземлених завдань, таких як складання бюджету, логістика та ланцюги поставок.
У січні міністр оборони Піт Хегсет оприлюднив «Стратегію прискорення штучного інтелекту» міністерства, спрямовану на прискорення впровадження ШІ у військових.
«Ми розв’яжемо експерименти, усунемо бюрократичні бар’єри, зосередимо наші інвестиції та продемонструємо підхід до виконання, необхідний для забезпечення лідерства у військовому штучному інтелекті», — сказав Хегсет у своїй промові, оголошуючи стратегію.
Супровідна записка йде далі, наказуючи Департаменту зробити ШІ доступним через кілька програм з метою «демократизації експериментів ШІ та трансформації в Департаменті шляхом надання провідних світових моделей ШІ Америки безпосередньо в руки наших трьох мільйонів цивільних і військових персоналу на всіх рівнях класифікації».
Але ці зусилля є децентралізованими, повідомили CNN кілька американських чиновників, і різні частини уряду використовують різні інструменти відповідно до різних наказів і стандартів безпеки. Немає єдиного набору стандартів для перевірки інформації, створеної цими інструментами, і надійність різних систем сильно відрізняється.
Націлювання – це те, де існує ризик
Аналітики давно побоюються, що штучний інтелект може сприяти катастрофічному прорахунку, якщо національні держави діятимуть на основі неякісних або зіпсованих даних. Епізод з китайським кораблем — це задокументований випадок саме того режиму відмови, який формується в режимі реального часу — і того, що захисники не встигли вловити його до останнього моменту.
«Штучний інтелект у націлюванні — це безперечно те, що набирає обертів, і немає реальних вказівок щодо того, як наявність людини в петлі запобіжить жертвам серед цивільного населення або братовбивству», — повідомило CNN інше джерело, знайоме з поточною політикою військових.
Відповідно до звітів CNN, вид галюцинації, яка спричинила неправдиву заяву, не був поодиноким випадком у розвідувальній спільноті з тих пір, як інструменти штучного інтелекту почали поширюватися через уряд. Декілька джерел також вказали на культурний ризик: молодші аналітики, які описуються як вихідці з цих інструментів, частіше довірятимуть їм безкритично, а тиск на отримання інформації швидше залишає більше місця для помилок.
«Штучний інтелект дозволяє швидше дійти до поганої ідеї», — сказало одне джерело.
Більш безпосередній ризик, ніж суперінтелект
Протягом кількох тижнів у Вашингтоні точилися дебати щодо довгострокових ризиків штучного інтелекту після серії жахливих публічних попереджень інженерів і технічних керівників Силіконової долини про те, що системи потенційно можуть звільнитися від людських обмежень. У звіті CNN наголошується на іншій і більш безпосередній небезпеці: люди приймають катастрофічні рішення на основі неточних або оманливих результатів штучного інтелекту — прямо зараз, посеред реальної геополітичної напруги.
Цієї весни не стріляли, а абордаж так і не відбувся. Але цей епізод є найяскравішим прикладом того, що помилки, створені машиною, після того як вони потраплять в офіційну звітність, можуть поширюватися через найпотужніший у світі військовий апарат аж до межі збройного конфлікту між ядерними державами — без постійного стандарту перевірки, щоб зупинити наступний.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
