Команда незалежних дослідників продемонструвала, що моделі штучного інтелекту можуть містити повнофункціональні приховані можливості, які математично гарантовано не будуть виявлені, навіть якщо аудитори мають повний доступ до вагових показників моделі. Стаття під назвою «Моделі штучного інтелекту можуть доведено приховувати довільні можливості» була опублікована в arXiv 9 жовтня 2026 року Андісом Драгунсом, Суміт Рамеш Мотвані, Реймондом Дугласом і Крістіаном Шредером де Віттом і привернула значну увагу на Hacker News цього тижня після того, як потрапила на головну сторінку сайту.
Робота спрямована на основне припущення сучасної практики безпеки штучного інтелекту: що небезпечну поведінку можна виявити до розгортання за допомогою оцінки можливостей, яка досліджує модель за допомогою тестів, призначених для виявлення того, що вона може зробити. Автори показують, що це припущення руйнується в умовах суперництва. Як стверджується в документі, надійність оцінки можливостей «залежить від припущення про те, що приховані можливості можуть бути виявлені» — і вони створюють атаки, де це припущення явно не виконується. Для читачів, які слідкують за останніми розробками штучного інтелекту у дослідженнях безпеки, ця стаття є однією з найяскравіших формальних демонстрацій того, що ефективна модель може, в принципі, пройти всі оцінки, приховуючи те, що вона насправді може зробити.
Як працює схема приховування
Дослідники створили бекдор-атаки, які вбудовують те, що вони називають зашифрованими нейронними мережами, у вагові моделі хост-моделі. Прихована мережа знаходиться там у зашифрованому вигляді, не впливаючи на видиму поведінку моделі, доки не отримає секретний тригер. У цей момент модель розшифровує приховану схему та виконує її.
Криптографічний механізм в основі конструкції — це те, що автори називають цифровими шафками. Відповідно до стандартних криптографічних припущень, ці блокери роблять приховані схеми важко виявити та інтерпретувати — навіть для аудитора, який має повний доступ до ваг моделі. Іншими словами, приховування не покладається на те, що приховування є тонким або на який важко натрапити. Він спирається на гарантії математичної надійності того ж типу, що захищають зашифровані комунікації.
Це продовжує попередні роботи в цій галузі, які показали, що моделі можуть приховувати фіксовані рядки, такі як паролі або короткі повідомлення. Новий документ значно переміщує стійки воріт: тепер можна приховати довільне обчислення — повну, функціонуючу здатність, а не статичний секрет.
Перевірено на реальні методи аудиту
Команда реалізувала свої конструкції для підтвердження концепції в PyTorch, а потім атакувала їх за допомогою стандартного інструментарію аудиту моделі. Оцінки перевіряли виявлення за допомогою тонкого налаштування, шуму вагомості, пошуку тригерів на основі градієнта та тренування прихованої змагальності — низки методів, які показують, як серйозні аудитори насправді намагатимуться витягнути приховану поведінку з підозрілої моделі.
Тестове завдання являло собою невелику задачу прогнозування хімічної реакції, обрану навмисно як проксі для здібностей із реальними ставками: завдання прогнозування хімікатів є заміною для навичок, пов’язаних із ХБРЯ (хімічними, біологічними, радіологічними та ядерними), категорією можливостей, які оцінки перед розгортанням найбільше важливі. Приховані реалізації протистояли всім використаним методам виявлення.
У поєднанні з криптографічними гарантіями автори стверджують, що їхні результати розкривають фундаментальний ліміт перевірок можливостей на основі виявлення. Якщо розробник моделі — або зловмисна третя сторона, яка втрутилася в модель — має стимул приховати можливість, перевірки, які покладаються на виявлення поведінки, можуть просто не в змозі її знайти.
Чому це важливо для безпеки ШІ
Оцінювання можливостей стало стандартною частиною того, як передові лабораторії штучного інтелекту вирішують, чи безпечно випускати моделі. Газета не стверджує, що серійні моделі наразі приховують можливості таким чином. Швидше це показує, що сам рівень аудиту має структурну слабкість: супротивник, який контролює навчання моделі, в принципі може вбудувати можливості, які не виявить жодне дослідження.
Наслідки розрізаються в кількох напрямках. Для лабораторій це підсилює аргументи на користь параноїдальної безпеки ланцюга постачань навколо вагових показників моделі — бекдорна контрольна точка є не лише ризиком для надійності, але й потенційно неможливою виявити. Для аудиторів і регуляторів це передбачає, що оцінки, засновані виключно на вибірці поведінки, можливо, повинні бути доповнені сильнішими гарантіями щодо того, як моделі тренувалися та як оброблялися. А для дослідницької спільноти це визначає конкретну оборонну проблему: автори оприлюднили свої моделі спеціально для підтримки вдосконалення захисту від цього класу атак.
Стаття також має ширший філософський зміст. Багато в чому безпека штучного інтелекту базується на ідеї, що ми можемо перевірити наш шлях до впевненості — що достатня червона команда знайде, що може зробити модель. Доведений механізм приховування не робить тестування марним, але це означає, що проходження кожного тесту більше не можна розглядати як доказ того, що нічого знайти. У міру того, як передові моделі стають дедалі ефективнішими та автономнішими, цей розрив між тим, що можуть показати аудити, і тим, що можуть містити моделі, є саме тією проблемою, до якої доведеться серйозно поставитися.
Повна стаття авторів, включаючи криптографічні конструкції та деталі оцінки, доступна на arXiv, а опубліковані моделі підтвердження концепції дають захисникам конкретну відправну точку для створення методів виявлення, які працюють проти приховування у стилі цифрових шафок.
---
Будьте попереду ШІОтримуйте останні новини штучного інтелекту, аналіз і прориви — усе в одному місці.
Читати більше новин AI →
