Команда независимых исследователей продемонстрировала, что модели ИИ могут нести в себе полнофункциональные скрытые возможности, которые математически гарантированно ускользнут от обнаружения, даже если у аудиторов есть полный доступ к весам модели. Статья под названием «Модели искусственного интеллекта могут скрывать произвольные возможности» была опубликована на arXiv 9 октября 2026 года Андисом Драгунсом, Сумитом Рамешем Мотвани, Раймондом Дугласом и Кристианом Шредером де Виттом и привлекла значительное внимание на Hacker News на этой неделе после того, как попала на главную страницу сайта.
Работа затрагивает основное предположение современной практики безопасности ИИ: опасное поведение может быть выявлено до развертывания посредством оценки возможностей, которая проверяет модель с помощью тестов, предназначенных для выявления всего, что она может сделать. Авторы показывают, что это предположение терпит крах в состязательных условиях. Как говорится в документе, надежность оценок возможностей «зависит от предположения, что скрытые возможности могут быть выявлены» — и они строят атаки там, где это предположение явно не работает. Для читателей, следящих за последними разработками ИИ в области исследований безопасности, эта статья является одной из самых ярких формальных демонстраций того, что дееспособная модель в принципе может пройти оценку, скрывая при этом, на что она способна на самом деле.
Как работает схема сокрытия
Исследователи разработали бэкдор-атаки, которые внедряют то, что они называют зашифрованными нейронными сетями, в веса хост-модели. Скрытая сеть находится в зашифрованном виде, не внося никакого вклада в видимое поведение модели, пока не получит секретный триггер. В этот момент модель расшифровывает скрытую схему и выполняет ее.
Криптографический механизм, лежащий в основе конструкции, — это то, что авторы называют цифровыми шкафчиками. При стандартных криптографических предположениях эти шкафчики делают скрытые схемы трудно выявляемыми и трудно интерпретируемыми — даже для аудитора, имеющего полный доступ к весам модели. Другими словами, сокрытие не основано на том, что сокрытие является тонким или трудным для обнаружения. Он опирается на гарантии математической надежности того же типа, которые защищают зашифрованные сообщения.
Это расширяет более раннюю работу в этой области, которая показала, что модели могут скрывать фиксированные строки, такие как пароли или короткие сообщения. Новая статья значительно смещает цели: теперь можно скрыть произвольные вычисления — полную, функционирующую возможность, а не статический секрет.
Протестировано на реальных методах аудита
Команда реализовала свои конструкции для проверки концепции в PyTorch, а затем атаковала их с помощью стандартного набора инструментов аудита моделей. В ходе оценок проверялось выявление посредством тонкой настройки, весового шума, поиска триггеров на основе градиента и обучения скрытой состязательности — ряда методов, которые показывают, как серьезные аудиторы на самом деле пытались бы извлечь скрытое поведение из подозрительной модели.
Тестовое задание представляло собой небольшую задачу прогнозирования химических реакций, сознательно выбранную в качестве показателя возможностей, имеющих реальные последствия: задачи химического прогнозирования являются заменой навыков, связанных с ХБРЯ (химических, биологических, радиологических и ядерных), категории возможностей, которые больше всего важны при оценке перед развертыванием. Скрытые реализации сопротивлялись всем применяемым к ним методам выявления.
Авторы утверждают, что в сочетании с криптографическими гарантиями их результаты раскрывают фундаментальный предел проверок возможностей на основе сбора данных. Если у разработчика модели — или у злонамеренной третьей стороны, которая вмешалась в модель — есть стимул скрыть возможность, аудиты, основанные на выявлении поведения, могут просто не суметь ее обнаружить.
Почему это важно для безопасности ИИ
Оценка возможностей стала стандартной частью того, как передовые лаборатории ИИ решают, безопасно ли выпускать модели. В документе не утверждается, что серийные модели в настоящее время скрывают возможности таким образом. Скорее, это показывает, что сам уровень аудита имеет структурную слабость: злоумышленник, контролирующий обучение модели, в принципе может внедрить в нее возможности, которые не выявит никакое исследование.
Последствия разворачиваются в нескольких направлениях. Для лабораторий это усиливает аргументы в пользу параноидальной безопасности цепочки поставок в отношении веса модели: контрольная точка с бэкдором представляет собой не просто риск для надежности, но и потенциально необнаружимый риск. Для аудиторов и регулирующих органов это означает, что оценки, основанные исключительно на выборке поведения, возможно, должны быть дополнены более строгими гарантиями того, как модели обучались и обрабатывались. А для исследовательского сообщества это определяет конкретную оборонительную задачу: авторы публично опубликовали свои модели специально для поддержки улучшения защиты от этого класса атак.
Статья также несет в себе более широкую философскую направленность. Большая часть безопасности ИИ основана на идее, что мы можем проверить свой путь к уверенности — что достаточная «красная команда» определит, на что способна модель. Механизм доказуемого сокрытия не делает тестирование бесполезным, но означает, что прохождение каждого теста больше нельзя рассматривать как доказательство того, что найти нечего. По мере того, как передовые модели становятся более функциональными и автономными, разрыв между тем, что могут показать аудиты, и тем, что могут содержать модели, становится именно той проблемой, к которой отрасль будет вынуждена относиться серьезно.
Полный текст статьи авторов, включая криптографические конструкции и детали оценки, доступен на arXiv, а выпущенные модели для проверки концепции дают защитникам конкретную отправную точку для методов обнаружения зданий, которые работают против сокрытия в стиле цифровых шкафчиков.
---
Будьте впереди ИИПолучайте последние новости, анализ и открытия в области искусственного интеллекта — все в одном месте.
Подробнее новости AI →
