Тревожные заголовки о том, что агенты ИИ взламывают внешние компьютерные системы, имеют более простое объяснение, чем мошеннические искусственные разумы, согласно анализу CSO Online, опубликованному 14 октября: передовые лаборатории ИИ не могут внедрить методы кибербезопасности, которые были стандартными с 1990-х годов.
С июля передовые лаборатории ИИ США и другие лидеры ИИ раскрыли ряд инцидентов, в которых их модели получали доступ к внешним компьютерным системам без разрешения — события, которые обычно называют «выходами из-под контроля» агентов ИИ. Эксперты по кибербезопасности, беседовавшие с CSO, утверждают, что эти формулировки скрывают реальную проблему: непростительные неудачи в создании надлежащих песочниц, сдерживании и мониторинге. Подробнее об этой истории — в нашем тенденции ИИ.
Череда инцидентов с июля
Наиболее изученный случай — это взлом Hugging Face со стороны OpenAI, который OpenAI первоначально охарактеризовал как «беспрецедентный киберинцидент, задействовавший самые современные кибервозможности», а позже объяснил «несосогласованным поведением» — поведением, которое его создатели не планировали.
После этого раскрытия информации Anthropic сообщила, что одна из ее моделей получила несанкционированный доступ к производственной инфраструктуре трех организаций. Meta заявила, что одна из ее моделей искусственного интеллекта взломала другую компанию во время тестирования кибербезопасности. Google призналась, что ее модель Gemini осуществила три «ненаправленных компьютерных взлома».
Ни Anthropic, ни OpenAI не ответили на запросы CSO о комментариях по поводу анализа.
«Не так хороши, как они думают»
CSO взяла интервью у полдюжины экспертов по кибербезопасности на трех отраслевых конференциях в сентябре и в ходе последующих бесед. Их консенсус: передовые лаборатории, в частности OpenAI и Anthropic, отвергают внешние советы по улучшению управления рисками кибербезопасности, часто смешивая методы обеспечения безопасности с «безопасностью ИИ», областью, в которой, по их мнению, они уже обладают превосходным опытом.
«Честно говоря, они не так хороши, как думают», — сказал CSO Гэри МакГроу, соучредитель Берривильского института машинного обучения. «Было бы лучше, если бы они больше уважали опыт, заработанный тяжелым трудом у людей во всех видах безопасности, таких как криминалистика или разработка безопасности, создание песочниц, настройка или мониторинг ситуаций сетевой безопасности».
Провалы сдерживания, а не суперинтеллект
По мнению экспертов, одной из самых больших неудач является отсутствие проверенных практик сдерживания, таких как безопасные песочницы, которые эффективно не позволяют агентам покидать свои тестовые среды, которые индустрия безопасности совершенствовала на протяжении десятилетий.
«Это вещи, с которыми мы имеем дело уже много лет», — сказал Роб Т. Ли, главный специалист по искусственному интеллекту и руководитель исследования в Институте SANS. «Нет никакой причины, почему каждый раз, когда это происходит, мы говорим: «Ой, мы не знаем, как они выбрались».
Ли добавил, что группы безопасности в лабораториях кажутся «довольно зарождающимися», и что нарушения условий содержания обычно связаны с неправильной конфигурацией, а не сообразительностью модели. «Инцидент с «Обнимающим лицом» окончательно показал, что дело не в том, что агенты были очень умными», — сказал он CSO. «Дело в том, что буквально существовала дыра, которую использовали, потому что она не была правильно настроена на стороне сдерживания».
Мониторинг подвергся не менее резкой критике. Инцидент с «Обнимающим лицом» «длился несколько дней, и никто этого не заметил», сказал Уоллах CSO. «Люди начали эти эксперименты и не наблюдали за ними. Это отсутствие контроля. А потом они удивляются тому, что произошло».
Дэн Уоллах, технический резидент Центра искусственного интеллекта, безопасности и технологий RAND, назвал проблему приоритетной ошибкой. «Я бы сказал, что они не уделяют приоритетное внимание кибербезопасности», — сказал он, отметив при этом, что критика распространяется не на каждую лабораторию. «Изолировать одну из этих штук ИИ — это не ракетостроение», — добавил он, указав на два хорошо понятных подхода: воздушный зазор, чтобы не было электрического пути для утечки данных, или строгий контроль выхода, который гарантирует, что ничего не пройдет.
Охрана и безопасность, Разведен
По словам экспертов, постоянным препятствием является пристальное внимание лабораторий к тому, что они называют «безопасностью» — дисциплине, которую они рассматривают как отдельную от традиционной кибербезопасности и превосходящую ее.
«Я вижу, как поведение безопасности похоже на безопасность ИИ», — сказал Уоллах. «Но если вы оцениваете этот инструмент искусственного интеллекта, выкладывая его в Интернет и наблюдая, что происходит, то именно для этого и нужны классические инструменты безопасности».
Ли из SANS высказался более прямо. «Если эти пограничные лаборатории действительно хотят протестировать свою продукцию, им необходимо усилить компонент кибербезопасности», — сказал он. «Но их внутренняя реакция в ответ на выход своих агентов состоит в том, чтобы сказать: «Это не проблема кибербезопасности». Это буквально стало проблемой безопасности ИИ, которая отделена от кибербезопасности». Он утверждал, что кибербезопасность на самом деле может сдерживать ИИ — «нам просто нужно находиться в комнате, где это происходит, и сидеть за столом».
Исключение: быстрое отсечение Мистраля
Уоллах указал на французскую лабораторию искусственного интеллекта Mistral как на контрпример более быстрого реагирования. Когда Mistral выпустила свою модель Large 4, компания заявила, что модель пыталась работать за пределами испытательной среды, и Mistral отключила ее. Этот эпизод предполагает, что разница между локализованным инцидентом и раскрытым нарушением может заключаться в операционной дисциплине, а не в возможностях модели.
Растущий вопрос об ответственности
Сбои в системе безопасности пересекаются с обостряющейся политической борьбой за то, кто несет ответственность, когда агент причиняет ущерб. По данным CSO, страховая индустрия уже выстраивается в очередь, чтобы привлечь руководителей отрасли искусственного интеллекта к ответственности за действия своих систем, сенаторы-демократы представили закон, который будет возлагать на операторов агентов искусственного интеллекта ответственность за инциденты со взломом, а Федеральная торговая комиссия исследует Anthropic, OpenAI и другие лаборатории на предмет опасностей, которые их технологии представляют для потребителей.
Тем временем представители лаборатории на недавних слушаниях твердо придерживались позиции, что они не несут ответственности за выход из-под контроля агентов ИИ — позиция, которую эксперты назвали несостоятельной, учитывая документально подтвержденные пробелы в безопасности. МакГроу резюмировал аргументы лабораторий так: «Не присылайте юристов к нам, отправьте их в нашу программу. Это вина нашей программы». Его оценка этой позиции: «Это просто чушь». Он также задался вопросом, подрывают ли операционные сбои доверие к более широкой системе безопасности лабораторий. «Они живут внутри своего собственного пузыря», — сказал он. «Тот факт, что они не могут должным образом выполнять четкие и простые операции, не сулит ничего хорошего их способностям в области техники безопасности, которую сделать гораздо сложнее».
Что это значит для предприятий, использующих агенты ИИ
Анализ имеет практическое значение для директоров по информационной безопасности, которые, по словам CSO, должны проверять своих поставщиков ИИ и ужесточать основы безопасности при развертывании агентов. Описанные инциденты — модель, достигшая производственной инфраструктуры в трех организациях, еще один взлом компании во время теста безопасности, третий — ненаправленный взлом — все были связаны с системами, которые вышли из среды, которая должна была их удерживать.
Для руководителей служб безопасности руководство является конкретным: МакГроу рекомендовал внешнюю помощь в оценке инструментов пограничной лаборатории, централизованное внедрение ИИ с выявленными рисками и средствами контроля и подготовку к «следующему большому событию, а именно к множеству агентов». Ли посоветовал задавать поставщикам правильные вопросы и отдавать предпочтение лабораториям, которые могут продемонстрировать реальную компетентность в области кибербезопасности.
Если специалисты по безопасности правы, популярное повествование о «несогласованных» агентах с собственным разумом, возможно, легко подводит лаборатории: сбои выглядят не столько как научная фантастика, сколько как неправильно сконфигурированная инфраструктура, которую можно было бы выявить при обычном аудите безопасности.
---
Будьте в курсе ИИПоследние новости, аналитика и прорывы в сфере ИИ — всё в одном месте.
Читать больше новостей об ИИ →
