Руководители Уолл-стрит и представители Агентства национальной безопасности сообщили членам Конгресса, что каскад технологических сбоев в США на этой неделе был вызван не кибератаками, а чрезвычайными усилиями по исправлению уязвимостей, обнаруженных моделями искусственного интеллекта, согласно отчету The Washington Sun со ссылкой на три источника, знакомых с частными разговорами.

Это утверждение, если оно будет обосновано, станет одним из самых ярких случаев, когда эффекты второго порядка ИИ дестабилизируют критически важную инфраструктуру — не потому, что модели атаковали что-либо, а потому, что они обнаружили так много реальных слабых мест, что люди-операторы бросились исправлять их все сразу. Подробнее об этой истории — в нашем тенденции ИИ.

Неделя каскадных неудач

Отключения начали накапливаться 12 ноября и ускорились в течение недели. 13 ноября авиационные власти США объявили общенациональную остановку полетов из-за сбоя в коммуникационных технологиях — газета Straits Times назвала это самой продолжительной общенациональной остановкой полетов после терактов 11 сентября 2001 года. В почтовой службе Microsoft Outlook произошли сбои, из-за которых была прекращена переписка со многими американскими компаниями, а также перестали работать сервисы Apple, включая iCloud, App Store и Apple Pay.

16 ноября беспорядки достигли банковской системы: клиенты таких учреждений, как JPMorgan Chase, не смогли получить доступ к счетам; банк объяснил проблемы с обслуживанием ошибками программного обеспечения. 17 ноября само АНБ объявило, что его сеть испытала «временную деградацию» во время так называемого планового технического обслуживания, настаивая при этом на том, что «критически важные возможности» остаются полностью работоспособными.

Чиновники последовательно исключают враждебную кибератаку. Госсекретарь Марко Рубио, одновременно исполняющий обязанности советника по национальной безопасности, признал, что эти инциденты «тревожили», но заявил журналистам в Маниле, где президент Дональд Трамп присутствовал на экономической конференции АСЕАН: «Мы не находимся под системной атакой. У нас нет никаких доказательств или каких-либо оснований полагать, что что-либо из этого связано».

Объяснение AI-Patching

За кулисами на Капитолийском холме циркулирует другое объяснение. Согласно сообщению The Washington Sun, правительственные и банковские чиновники сообщили законодателям, что сбои возникли из-за попыток устранить бреши в киберзащите, выявленные моделями искусственного интеллекта, и что возникший в результате поток исправлений временно перегрузил затронутые системы.

«Эти модели выявляют массовые уязвимости, и это повышает необходимость немедленного исправления», — заявил изданию один из представителей Конгресса, проинформированный по этому вопросу. «Они пытаются внедрить множество исправлений одновременно — больше, чем была рассчитана на систему».

Министр внутренней безопасности Маркуэйн Маллин высказал схожий диагноз в интервью CNBC, заявив, что организации «навязывают новые технологии поверх действительно старых компьютерных систем, и кажется, что они просто подавляют систему… Мы увидим больше подобных явлений по мере появления новых технологий».

Эта учетная запись соответствует динамической группе безопасности, о которой предупреждают по мере развития анализа кода с помощью искусственного интеллекта: модели, которые могут сканировать огромные базы кода на предмет уязвимостей, которые можно использовать, генерируют результаты быстрее, чем процессы управления изменениями могут их безопасно усвоить. Установка исправлений сама по себе является рискованной операцией, и слишком быстрое ее выполнение в устаревшей инфраструктуре может оказаться столь же разрушительным, как и устраняемые ею уязвимости.

Законодатели требуют ответов

Политическая реакция в своем нетерпении была особенно двухпартийной. Сенатор Джош Хоули, республиканец от штата Миссури, заявил репортерам: «Если все это совпадение, то это похоже на величайшее совпадение в мировой истории», а сенатор Джек Рид, высокопоставленный демократ в Комитете по вооруженным силам, присоединился к призывам к более полному объяснению этой закономерности.

Трамп публично преуменьшил этот эпизод. «Это похоже на то, когда ты большой и влиятельный, и у тебя есть все деньги. Подобные вещи случаются. Это нормально», — сказал президент журналистам в Маниле. Белый дом заявил, что кризиса «нет».

Аналитики, упомянутые в обзоре сбоев, указали на два усугубляющих фактора: глубокие кадровые сокращения в технологических операциях в последние годы и ускоряющуюся интеграцию инструментов искусственного интеллекта в обслуживание систем, что могло сделать критически важную инфраструктуру одновременно менее устойчивой и более заметно хрупкой в ​​случае сбоя.

Что это значит для индустрии искусственного интеллекта

Для сектора искусственного интеллекта эта неделя является предупреждением о темпах работы, создаваемых инструментами искусственного интеллекта. Те же возможности модели, которые позволяют защитникам находить уязвимости со скоростью машины, также обязывают их соблюдать графики исправления, которым устаревшие системы никогда не были предназначены. Некоторые поставщики теперь продвигают непрерывное сканирование безопасности на основе искусственного интеллекта именно потому, что оно находит недостатки, которые люди упускают из виду — сбои в работе позволяют предположить, что узкое место перешло от обнаружения к развертыванию.

Ожидается, что законодатели запросят официальные брифинги о волне отключений, когда Конгресс вернется к надзору за инфраструктурой, и как агентства, так и банки, вероятно, столкнутся с вопросами о том, как планируется, тестируется и регулируется техническое обслуживание с использованием ИИ. Этот эпизод также может стать причиной разгорающихся дебатов в нормативных органах о том, следует ли вносить изменения в критически важные системы с помощью ИИ поэтапно и ограничивать их скорость, как и другие эксплуатационные изменения с высоким уровнем риска.

На данный момент самолеты летают, банки отвечают на их приложения, а АНБ утверждает, что его критически важные системы в порядке. Неприятный урок, который Конгресс просят усвоить, заключается в том, что машины, обнаруживающие недостатки, могут опережать институты, их исправляющие.

---

Будьте в курсе ИИ

Последние новости, аналитика и прорывы в сфере ИИ — всё в одном месте.

Читать больше новостей об ИИ →