Відповідно до звіту Ars Technica, помічник Muse AI від Meta постачався з серйозною вразливістю нульового дня, яка дозволяла будь-якій локально встановленій програмі викрасти маркер облікового запису користувача Muse і використати надзвичайно широкі привілеї агента.
Недолік виявив Патрік Вордл, досвідчений дослідник безпеки macOS, засновник фонду Objective-See Foundation і колишній співробітник NASA і Агентства національної безпеки. Його розкриття припало на делікатний момент для Meta: приблизно за 12 годин до того, як Wardle став публічним, Amazon уже почав блокувати людей від використання Muse для покупок на його сайті, називаючи його «неавторизованим агентом штучного інтелекту», який порушує Умови використання Amazon. For more context on this story, see our ongoing AI industry coverage.
Як працювала Muse Zero-Day
Muse, яку Meta представила кілька тижнів тому, створена як агресивний персональний помічник. Згідно з Ars Technica, він «замовляє зустрічі, заповнює форми та обслуговує клієнтів», «завчасно знімає завдання з вашої тарілки» і може «здійснювати покупки, генерувати зображення, створювати документи та підключатися до ваших улюблених програм і служб». Додаток працює на macOS — на диво, версії для Windows немає — і підключається до WhatsApp, електронної пошти, календаря та облікових записів соціальних мереж.
Саме такий рівень доступу робить уразливість значною. Щоб Muse працював, користувачі повинні автентифікувати його в кожній службі та надати йому широкі дозволи операційної системи: запис файлів на диск, доступ до мікрофона та камери, а також моніторинг розташування та календарів.
Уордл виявив, що розробники Meta розробили помічника таким чином, щоб будь-яка локально встановлена програма або виконана команда — незалежно від її власних дозволів macOS — могла змінити довгий список недокументованих налаштувань. Більшість із цих налаштувань були нешкідливими, як-от перемикання темного режиму. Однак один контролює, де обробляється конфіденційна мова користувача, і той самий механізм може надавати маркер, який автентифікує користувача в його обліковому записі Muse.
«Ми можемо маніпулювати агентом і використовувати його привілеї, щоб робити все, що нам заманеться», — сказав Вордл Ars Technica. «Тож замість того, щоб нам писати дуже повну програму викрадання зловмисних програм для Mac, ми можемо просто використати самого помічника ШІ».
На практиці Вордл сказав, що він розробив кілька атак на підтвердження концепції, в тому числі ті, які записують шкідливі файли на диск. Один описаний шлях атаки передбачає, що сервер зловмисника діє як проксі-сервер між користувачем Muse і кінцевою точкою Meta: коли користувач вимовляє голосову підказку, сервер зловмисника вводить зловмисну команду — наприклад, надсилає архів усіх повідомлень WhatsApp зловмиснику — і отримує постійний контроль над обліковим записом Muse.
Дизайнерські рішення під мікроскопом
Уордл пояснив експлойт кількома конкретними виборами дизайну. Одним з них було рішення Meta обробляти диктування Muse у хмарі, де компанія може реєструвати його, а не використовувати транскрипцію на пристрої macOS, яка давно підтримується. За його словами, якби була обрана безпечніша місцева альтернатива, атака була б неможливою.
Інший дозволив будь-якій програмі контролювати незадокументовану кінцеву точку налаштувань. Уордл припустив, що Meta, ймовірно, призначений для партнерських додатків для налаштування параметрів інтерфейсу, але розширення цього контролю до того, де обробляється конфіденційна мова, перетворило зручну функцію на поверхню для атаки.
«На мій погляд, планка набагато вища з точки зору безпеки цих програм», — сказав Вордл. «Вони не обов’язково повинні бути ідеальними, але коли ви подивитеся на Muse, здається, що вони, на мій погляд, не думали про безпеку, що справді викликає занепокоєння. Принаймні, вони повинні думати про безпеку з самого початку, а вони просто ні».
Meta опублікувала два дописи за стільки ж тижнів, в яких документувала рішення щодо безпеки та конфіденційності, що стоять за помічником із таким широким доступом до даних користувачів — хронологія, яка тепер читається по-іншому у світлі розголошення. Ars Technica також відзначила ширшу історію: виявлення того, що внутрішнє тестування моделей від Anthropic і Google призвело до порушень безпеки зовнішніх сторонніх мереж, які інженери ніколи не збиралися торкатися.
Виправлення та попередження для Agentic AI
Більш ніж через 12 годин після публікації звіту Meta повідомила, що випустила виправлення, яке виправило нульовий день. Meta не відразу відповіла на запит щодо коментарів щодо термінів виправлення.
Експерти з безпеки давно стверджують, що як тільки пристрій зламано, всі ставки втрачаються — контраргумент, на який часто спираються постачальники привілейованого програмного забезпечення. Уордл відмовився від цього фреймінгу для Muse: простий варіант техніки соціальної інженерії ClickFix, яка стала надзвичайно ефективною, щоб змусити людей заразити їхні власні пристрої, — це все, що потрібно зловмиснику, щоб зловмисний код запускався на комп’ютері Mac.
Уордл планує більш детально обговорити вразливість та інші загрози AI Assistant на конференції безпеки Objective by the Sea у листопаді.
Цей епізод — яскраве прикладне дослідження боргу за безпеку, який можуть накопичити агентські продукти ШІ, коли вони виходять на ринок. Помічник, який може читати ваші повідомлення, оплачувати покупки та діяти з вашими обліковими записами, з точки зору зловмисника, є єдиною високоцінною мішенню — і скомпрометувати його набагато дешевше, ніж створювати спеціальне шкідливе програмне забезпечення для кожної служби, якої він торкається.
Для користувачів практичні уроки звичні, але знову актуальні: обмежте доступ до помічника зі штучним інтелектом, ставтеся до його привілеїв так само серйозно, як і до своїх власних облікових даних, і скептично ставтеся до продуктів, які за замовчуванням направляють конфіденційні дані, такі як голосове диктування, через сервери сторонніх розробників. Для галузі повідомлення дослідників є більш чітким: безпека не може бути виправленням після запуску програмного забезпечення, яке містить ключі до чийогось цифрового життя.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
