Этой весной военные США подошли ближе к прямой конфронтации с Китаем, чем кто-либо мог себе представить. Согласно эксклюзивному сообщению CNN, опубликованному в пятницу, причиной тому стала галлюцинация искусственного интеллекта.
В отчете подробно описывается, как разведывательный документ, созданный с помощью чат-бота, положил начало цепочке событий, в ходе которых вооруженный американский персонал готовился подняться на борт китайского корабля на Ближнем Востоке, полагая, что судно перевозило компоненты программы создания ядерного оружия. По данным источников, знакомых с ходом операции, военные самолеты уже находились в воздухе. Подробнее об этой истории — в нашем больше статей об ИИ.
Миссия была свернута незадолго до запланированного перехвата, когда чиновники углубились в отчет и обнаружили, что его основное утверждение — то, что мобилизовала американскую армию — было ошибочным.
Один источник, знакомый с этим эпизодом, назвал отчет разведки CNN «полностью ложным». Кроме того, по словам источника, «почти началась война». Любая операция США против китайского судна могла перерасти в вооруженный конфликт между двумя странами.
Как заявление чат-бота превратилось в военную операцию
Эпизод начался этой весной, в разгар войны с Ираном, когда среди вооруженных сил США начал распространяться доклад разведки. В документе утверждалось, что китайский корабль на Ближнем Востоке перевозил компоненты программы создания ядерного оружия, и это сразу же вызвало тревогу.
По данным CNN, отчет был составлен аналитиком командования специальных операций США, который запросил чат-бота об отчетах разведки в манифесте корабля — отчете, который исходил от Командования специальных операций США в Тихом океане, базирующегося на Гавайях. Остается неясным, был ли чат-бот коммерчески доступным продуктом или инструментом правительства США. Бывший высокопоставленный американский чиновник, знакомый с системами искусственного интеллекта, используемыми военными и разведывательными аналитиками, дал CNN резкую оценку внутренних предложений правительства: «Внутренние инструменты представляют собой в основном просто копии коммерческих материалов с помадой».
Чат-бот объединил разведданные из открытых источников с секретными сигнальными данными, хранящимися правительством, и пришел к роковому выводу о грузе корабля. Затем аналитик использовал искусственный интеллект во второй раз, чтобы упаковать результаты в стандартный отчет разведки, которому военные чиновники привыкли доверять, и распространить его.
Четыре источника, знакомые с этим эпизодом, поговорили с CNN. По словам двоих из них, вооруженные военнослужащие США готовились подняться на борт корабля, когда репортаж развалился. CNN не удалось узнать, что на самом деле представлял собой ошибочно идентифицированный груз. Командование специальных операций США в Тихом океане и Пентагон не ответили на запрос CNN о комментариях.
Стратегия ускорения проходит проверку на практике
Опасная ситуация возникает в тот момент, когда Пентагон пытается внедрить искусственный интеллект почти во все аспекты своей работы — анализ огромных объемов необработанной разведывательной информации, выбор целей для ударов и решение более приземленных задач, таких как составление бюджета, логистика и цепочки поставок.
В январе министр обороны Пит Хегсет опубликовал «Стратегию ускорения искусственного интеллекта» ведомства, призванную ускорить внедрение искусственного интеллекта в военных целях.
«Мы будем проводить эксперименты, устранять бюрократические барьеры, сосредоточивать наши инвестиции и демонстрировать подход к исполнению, необходимый для обеспечения того, чтобы мы лидировали в области военного ИИ», — сказал Хегсет в речи, анонсирующей стратегию.
В сопроводительной записке министерству предписывается сделать ИИ доступным через несколько программ с целью «демократизации экспериментов и трансформации ИИ во всем департаменте, передав ведущие в мире американские модели ИИ непосредственно в руки наших трех миллионов гражданского и военного персонала всех уровней классификации».
Но эти усилия децентрализованы, рассказали CNN несколько американских чиновников: разные части правительства используют разные инструменты в соответствии с разными приказами и стандартами безопасности. Не существует единого набора стандартов для проверки информации, генерируемой этими инструментами, а надежность различных систем сильно различается.
Таргетинг – это то, где живет риск
Аналитики уже давно опасаются, что ИИ может способствовать катастрофическому просчету, если национальные государства будут действовать на основе плохих или искаженных данных. Эпизод с китайским кораблем является документально подтвержденным случаем того, что именно такой режим отказа формируется в реальном времени, а средства защиты не могут его уловить до последнего момента.
«ИИ в нацеливании определенно набирает обороты, и нет реальных указаний о том, как участие человека в процессе предотвратит жертвы среди гражданского населения или братоубийство», — сообщил CNN другой источник, знакомый с текущей политикой вооруженных сил.
Согласно сообщению CNN, галлюцинация, которая привела к ложному утверждению, не была единичным инцидентом в разведывательном сообществе с тех пор, как инструменты искусственного интеллекта начали распространяться через правительство. Несколько источников также указали на культурный риск: более молодые аналитики, которых называют носителями этих инструментов, с большей вероятностью будут доверять им без критичности, а необходимость быстрее получать информацию оставляет больше места для ошибок.
«ИИ позволяет быстрее прийти к плохой идее», — сказал один из источников.
Более непосредственный риск, чем суперинтеллект
В течение нескольких недель Вашингтон был поглощен дебатами о долгосрочных рисках ИИ после серии ужасных публичных предупреждений инженеров и технических руководителей Кремниевой долины о том, что системы потенциально могут вырваться из-под человеческих ограничений. В докладе CNN подчеркивается другая, более непосредственная опасность: люди принимают катастрофические решения на основе неточных или вводящих в заблуждение результатов искусственного интеллекта — прямо сейчас, в разгар реальной геополитической напряженности.
Этой весной не было произведено ни одного выстрела, и абордажа не произошло. Но этот эпизод является ярчайшим примером того, что машинные ошибки, однажды отмытые в официальной отчетности, могут пройти через самый мощный в мире военный аппарат вплоть до грани вооруженного конфликта между ядерными державами - без единого стандарта проверки, который мог бы остановить следующий.
---
Будьте в курсе ИИПоследние новости, аналитика и прорывы в сфере ИИ — всё в одном месте.
Читать больше новостей об ИИ →
