Згідно з новим дослідженням, опублікованим Anthropic 12 жовтня, малі моделі ШІ можуть залишитися лише через кілька місяців, щоб вони могли самостійно відтворюватися на звичайних споживчих пристроях — розумних печах, сторонніх приставках Android TV та іншому обладнанні Інтернету речей.
Допис, написаний дослідниками Вільямом Чжоу та Деніелом Фріманом, розглядає автономну реплікацію та адаптацію (ARA): здатність моделі ШІ розгортати та поширювати себе на машинах без контролю людини. Підсумок експериментів Anthropic полягає в тому, що планка апаратного забезпечення для саморозповсюджуваного черв’яка штучного інтелекту набагато нижча, ніж обчислення в центрі обробки даних, і що сучасні маленькі моделі наближаються до неї. For more context on this story, see our ongoing breaking AI news.
Занепокоєння не є гіпотетичним за формою, лише за часом. Попередня робота вже показала, що агенти штучного інтелекту можуть поводитися як мережеві хробаки — сканувати мережу, виконувати експлойт і копіювати вагові коефіцієнти моделі на цільову машину через кластер GPU, як розповідає Anthropic у своїй публікації. Залишилося недоведеним те, чи зможе такий хробак вижити та розмножуватися на дешевому, слабко захищеному апаратному забезпеченні, яке становить більшу частину Інтернету.
Що виявили експерименти
Команда Anthropic виявила, що модель із 9 мільярдами параметрів успішно запустила висновок на 8 із 9 протестованих типів обладнання. Дослідники пишуть, що моделі з 30 мільярдами параметрів і менше вже сьогодні можуть виконати багато окремих кроків, необхідних для реплікації, хоча вони все ще допускають помилки, об’єднуючи ці кроки в ланцюжок один до одного.
Більш продуктивні системи вже перевищили цей поріг у спрощених оцінках: Anthropic повідомляє, що GLM-5.2 і потужніші моделі здатні до наскрізної реплікації в умовах тестування. І траєкторія має таке ж значення, як і знімок. Дослідники пишуть, що якщо малі моделі продовжуватимуть удосконалюватися своєю історичною швидкістю, то до кінця цього року вони досягнуть рівня можливостей, продемонстрованого в цих експериментах, а невдовзі після цього з’являться невеликі реплікатори, що несуть вагу.
Демонстрація ботнету за 55 доларів США
Щоб показати, як мало апаратного забезпечення знадобиться для копіювання моделі, команда об’єднала в мережу 15 недорогих Android TV-пристроїв сторонніх брендів — приблизно по 55 доларів за штуку — і запустила модель Gemma4-26B-A4B із 26 мільярдами параметрів, розподілену між ними. Об’єднаний парк виробляв приблизно 0,39 жетонів на секунду: повільний, але функціональний висновок на апаратному забезпеченні, яке коштує дешевше, ніж клавіатура.
Сенс демонстрації економічний. Аргумент Anthropic полягає в тому, що розподілений ботнет пристроїв IoT — апаратне забезпечення, яке дослідники описують як дешеве та зазвичай погано захищене — може забезпечити достатньо сукупних обчислень для запуску дієздатної моделі, навіть не торкаючись графічного процесора центру обробки даних. Самі ваги моделі стануть частиною корисного навантаження зловмисного програмного забезпечення, яке переноситься під час розмноження хробака або повторно завантажується з загальнодоступного центру на зламаний пристрій.
Чому хробака IoT важко вбити
На відміну від звичайних зловмисних програм, штучний інтелект, що самовідтворюється, не слідуватиме фіксованому сценарію. Anthropic зазначає, що міг самостійно виявляти незнайомі пристрої, адаптуючись до апаратного забезпечення, якого ніколи не бачив. І оскільки реплікація є децентралізованою, немає централізованої точки для вимкнення — хоча дослідники відзначають, що процес, ймовірно, буде повільним, із часом подвоєння, що вимірюється днями.
Дослідження розбиває автономну реплікацію на чотири практичні етапи: пошук цілей, отримання виконання, встановлення висновку та продовження розповсюдження від нового хоста. Anthropic здебільшого залишив убік перші два — фазу експлойтів — тому що попередні роботи, включаючи тести CyberGym і ExploitBench і дослідження адаптивних хробаків, уже показують, що малі моделі здатні на кіберексплойти, якщо їм надано правильні інструменти. Проблема, яку важче виміряти, і зосереджена в цій публікації, полягає в створенні робочих висновків на скомпрометованих пристроях.
Від попередження про дослідження до охоплення в реальному світі
Висновки відразу привернули увагу за межами дослідницького співтовариства. Агентство Reuters повідомило, що моделі штучного інтелекту незабаром зможуть самовідтворюватися без доступу до центрів обробки даних, тоді як CBS News представила цю роботу як попередження про те, що «хробаки штучного інтелекту» незабаром зможуть самовідтворюватися та заражати розумні пристрої. Ця історія також широко розповсюдилася на Hacker News, де читачі обговорювали, як скоро закриється розрив можливостей.
Давнє занепокоєння стає конкретним
Автономна реплікація протягом багатьох років була в списках безпеки ШІ як теоретична можливість, пов’язана з передовими системами. Що робить це дослідження помітним, так це специфіка: назване обладнання, вартість у доларах, пропускна здатність токенів і часовий графік, виміряний у місяцях, а не гіпотетично. Дослідники Anthropic також помічають, що графічні процесори центрів обробки даних будуть очевидною високою ціллю для такого шкідливого програмного забезпечення, але їхні експерименти показують, що ці прискорювачі не є абсолютно необхідними.
Робота зосереджена на ширшому спектрі проблем безпеки агентів, від моделей, які вводять в оману своїх оцінювачів, до інструментів агентів, які перевіряються на можливості використання. Повідомлення Anthropic полягає не в тому, що хробак IoT існує сьогодні, а в тому, що відстань між «можливим у принципі» та «можливим цього року» скорочується — і що захист, заснований на ШІ, який потребує дорогого централізованого обладнання, може не протриматися довго.
Те, що залишається недоведеним
Дослідники уважно ставляться до обмежень своїх результатів. Успіхи наскрізної реплікації відбулися, як зазначено в дописі, у «спрощених оцінках» — і етапи використання ланцюга були припущені, а не продемонстровані, спираючись на попередні тести, а не на нові атаки. Реальному AI-хробаку потрібно буде надійно об’єднати всі чотири етапи: визначення місця розташування вразливих пристроїв, злам, початкове завантаження незнайомого обладнання та запуск наступної хвилі розповсюдження – все без втручання людини.
Сучасні моделі під 30B, зокрема, можуть виконувати багато з цих кроків окремо, але все одно не можуть скласти їх від кінця до кінця. Цей розрив — між кроками та послідовністю — саме те, що дослідники очікують, щоб скоротити історичні показники покращення.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
