Согласно эксклюзивному сообщению CNN, опубликованному в четверг, американские военные подошли к опасной близости к перехвату китайского судна на основании отчета разведки, который был создан с помощью чат-бота с искусственным интеллектом и оказался полностью ложным.

Эпизод, описанный CNN четырьмя источниками, знакомыми с этим вопросом, начался ранее этой весной — в разгар войны с Ираном — когда среди военных США распространился отчет, в котором утверждалось, что китайский корабль на Ближнем Востоке перевозил компоненты программы ядерного оружия. Это сообщение сразу же вызвало тревогу, и военные приступили к действиям, планируя перехватить судно. Чтобы регулярно освещать подобные истории, следите за развитием событий AI news.

Самолеты в воздухе, абордаж готов

По данным двух источников CNN, вооруженные военнослужащие США готовились подняться на борт корабля. По словам одного из источников, в воздухе уже находились военные самолеты.

Лишь незадолго до запланированной операции официальные лица углубились в отчет, составленный аналитиком командования специальных операций, и обнаружили, что он был создан с помощью искусственного интеллекта, и что чат-бот, которого использовал аналитик, неточно определил материал, который перевозил корабль. CNN сообщил, что не смог узнать, что на самом деле представлял собой ошибочно идентифицированный груз.

Один источник назвал это сообщение «полностью ложным». Кроме того, по словам источника, это «почти начало войны», поскольку любая операция США против китайского судна могла привести к риску перерастания в вооруженный конфликт между двумя странами.

Как был построен ложный отчет

Аналитик запросил чат-бота о разведывательных отчетах по описанию корабля, которые поступили от Тихоокеанского командования специальных операций США, базирующегося на Гавайях. CNN сообщил, что неясно, является ли чат-бот коммерчески доступным продуктом или инструментом правительства США.

Бот объединил разведывательные данные из открытых источников с секретными сигнальными данными, хранящимися в правительственных резервах, и пришел к роковому выводу о материалах на борту корабля. Затем аналитик использовал ИИ во второй раз — чтобы упаковать результаты в стандартный отчет разведки, которому доверяют военные чиновники, — и распространил его по всей системе.

Командование специальных операций США в Тихом океане и Пентагон не ответили на запрос CNN о комментариях.

Военная гонка за внедрение ИИ

Опасная ситуация возникает в тот момент, когда чиновники американского военного и разведывательного сообщества стремятся внедрить искусственный интеллект практически во все аспекты своей работы — от анализа огромных объемов необработанной разведывательной информации и выбора целей для ударов до повседневных задач, таких как составление бюджета, логистика и цепочки поставок.

В январе министр обороны Пит Хегсет опубликовал «Стратегию ускорения искусственного интеллекта» ведомства, призванную ускорить внедрение ИИ в вооруженных силах. «Мы будем проводить эксперименты, устранять бюрократические барьеры, сосредоточивать наши инвестиции и демонстрировать подход к исполнению, необходимый для обеспечения того, чтобы мы лидировали в области военного ИИ», — сказал Хегсет в речи, анонсирующей стратегию.

Стратегия прямо призывает к демократизации доступа, предписывая министерству передать «ведущие в мире модели ИИ непосредственно в руки наших трех миллионов гражданского и военного персонала всех уровней классификации».

Нет единого набора правил

Но эти усилия децентрализованы, рассказали CNN несколько американских чиновников: разные части правительства используют разные инструменты в соответствии с разными приказами и стандартами безопасности. Не существует единого набора стандартов того, как в США проверяется информация, генерируемая этими инструментами, а надежность различных систем сильно различается.

«Внутренние инструменты — это в основном просто копии коммерческих материалов с помадой», — сказал CNN бывший высокопоставленный американский чиновник, знакомый с системами искусственного интеллекта, используемыми военными и разведывательными аналитиками.

Нацеливание на ИИ «наращивается» без особого руководства

Источники сообщили, что военные быстро обращаются к искусственному интеллекту, чтобы помочь с наведением на цель — область, которая несет в себе очевидный риск фатальных ошибок. «ИИ в нацеливании определенно набирает обороты, и нет реальных указаний о том, как наличие человека в курсе предотвратит жертвы среди гражданского населения или братоубийство», — сказал CNN другой источник, знакомый с текущей политикой вооруженных сил.

Аналитики уже давно предупреждают, что ИИ может способствовать катастрофическому просчету, если национальные государства будут полагаться на неточные или искаженные данные — именно такой просчет мог бы привести к тому, что Соединенные Штаты открыли огонь по китайскому кораблю на основе неточной информации.

По данным CNN, галлюцинация, стоящая за фальшивым сообщением о корабле, не была единичным инцидентом в разведывательном сообществе с тех пор, как эти инструменты начали распространяться через правительство.

«ИИ позволяет быстрее прийти к плохой идее»

В течение нескольких недель вашингтонские политики интенсивно обсуждали ИИ после серии мрачных предупреждений из Кремниевой долины о возможности того, что ИИ сможет вырваться на свободу из-под человеческих ограничений. Но эпизод с китайским кораблем подчеркивает другой, более непосредственный риск: люди принимают катастрофические решения на основе неточной или вводящей в заблуждение информации, генерируемой системами искусственного интеллекта.

Несколько источников сообщили CNN, что, в частности, молодые аналитики — уроженцы этих инструментов — с большей вероятностью будут им некритически доверять, и что ИИ усилил давление на аналитиков, заставляя их быстрее производить и распространять разведданные, открывая двери для ошибок.

«ИИ позволяет быстрее прийти к плохой идее», — сказал один из источников.

Этот эпизод, вероятно, разожжет и без того горячие дебаты о том, как быстро американские военные должны внедрить ИИ в свои наиболее чувствительные рабочие процессы и какие шаги проверки должны быть обязательными, прежде чем отчеты с помощью ИИ смогут подтолкнуть войска, самолеты и вооруженный персонал к потенциальной боевой операции. На данный момент детали позволяют предположить, что существующие меры защиты представляют собой лоскутное одеяло, и что в данном случае разница между обычным отчетом разведки и международным инцидентом сводилась к чиновникам, которые случайно перепроверили.

Будьте впереди ИИ

Дополнительную информацию о политике ИИ, национальной безопасности и моделях, формирующих обе эти сферы, можно найти [подробнее о новостях ИИ] (https://aibuzzwire.news).