Согласно отчету Ars Technica, ИИ-помощник Meta от Muse содержал серьезную уязвимость нулевого дня, которая позволяла любому локально установленному приложению украсть токен учетной записи пользователя Muse и использовать в качестве оружия необычайно широкие привилегии агента.
Уязвимость обнаружил Патрик Уордл, опытный исследователь безопасности macOS, основатель Objective-See Foundation и бывший сотрудник НАСА и Агентства национальной безопасности. Его раскрытие произошло в деликатный момент для Meta: примерно за 12 часов до того, как Уордл стал публичной компанией, Amazon уже начал блокировать использование Muse для покупок на своем сайте, называя ее «несанкционированным агентом искусственного интеллекта», который нарушает Условия использования Amazon. Подробнее об этой истории — в нашем тенденции ИИ.
Как работала Muse Zero-Day
Muse, которую Meta представила несколько недель назад, создана как агрессивный личный помощник. По словам Ars Technica, оно «назначает встречи, заполняет формы и занимается обслуживанием клиентов», «активно снимает с вас задачи» и может «совершать покупки, генерировать изображения, создавать документы и подключаться к вашим любимым приложениям и сервисам». Приложение работает на macOS (как ни странно, версии для Windows нет) и подключается к учетным записям пользователя в WhatsApp, электронной почте, календаре и социальных сетях.
Именно этот уровень доступа делает уязвимость значимой. Чтобы Muse работал, пользователи должны аутентифицировать его в каждой службе и предоставить ему широкие разрешения операционной системы: запись файлов на диск, доступ к микрофону и камере, а также мониторинг местоположения и календарей.
Уордл обнаружил, что разработчики Meta спроектировали помощника так, что любое локально установленное приложение или выполняемая команда — независимо от собственных разрешений macOS — могло изменить длинный список недокументированных настроек. Большинство этих настроек были безобидными, например, переключение темного режима. Однако один из них контролировал, где обрабатывается конфиденциальная речь пользователя, и тот же механизм мог предоставлять токен, который аутентифицирует пользователя в его учетной записи Muse.
«Мы можем манипулировать агентом и использовать его привилегии, чтобы делать все, что захотим», — сказал Уордл Ars Technica. «Таким образом, вместо того, чтобы писать очень комплексный инструмент для кражи вредоносных программ для Mac, мы можем просто использовать самого ИИ-помощника».
На практике, по словам Уордла, он разработал несколько атак для проверки концепции, в том числе те, которые записывают вредоносные файлы на диск. Один из описанных путей атаки предполагает, что сервер злоумышленника действует как прокси-сервер между пользователем Muse и конечной точкой Meta: как только пользователь произносит голосовую подсказку, сервер злоумышленника вводит вредоносную команду — например, отправляет злоумышленнику архив всех сообщений WhatsApp — и получает постоянный контроль над учетной записью Muse.
Дизайнерские решения под микроскопом
Уордл объяснил этот эксплойт несколькими конкретными конструктивными решениями. Одним из них было решение Meta обрабатывать диктовку Muse в облаке, где компания может ее регистрировать, вместо использования давно поддерживаемой macOS транскрипции на устройстве. По его словам, если бы была выбрана более безопасная местная альтернатива, атака была бы невозможна.
Другой вариант позволял любому приложению контролировать конечную точку недокументированных настроек. Уордл предположил, что Meta, вероятно, предназначалась для партнерских приложений для настройки параметров интерфейса, но распространение этого контроля на то, где обрабатывается конфиденциальная речь, превратило удобную функцию в поверхность атаки.
«Для меня планка безопасности этих приложений бесконечно выше», — сказал Уордл. «Они не обязательно должны быть идеальными, но когда вы посмотрите на Muse, кажется, что они, на мой взгляд, не думали о безопасности, что действительно беспокоит. По крайней мере, они должны думать о безопасности с самого начала, а они просто не думают».
Meta опубликовала два поста за столько же недель, документируя решения по дизайну безопасности и конфиденциальности, лежащие в основе помощника с таким широким доступом к пользовательским данным — график, который теперь читается по-другому в свете раскрытия информации. Ars Technica также отметила более широкую подоплеку: сообщения о том, что внутреннее тестирование моделей от Anthropic и Google привело к нарушениям безопасности внешних сторонних сетей, к которым инженеры никогда не собирались прикасаться.
Исправление и предупреждение для агентного ИИ
Спустя более чем 12 часов после публикации отчета Meta заявила, что выпустила исправление, исправляющее нулевой день. Мета не сразу ответила на запрос о комментариях по поводу сроков исправления.
Эксперты по безопасности уже давно утверждают, что, как только устройство скомпрометировано, все ставки отключены — контраргумент, на который часто опираются поставщики привилегированного программного обеспечения. Уордл опроверг эту формулировку для Muse: простая вариация метода социальной инженерии ClickFix, которая стала чрезвычайно эффективной в обмане людей, заставляя их заражать их собственные устройства, — это все, что нужно злоумышленнику для запуска вредоносного кода на Mac цели.
Уордл планирует более подробно обсудить эту уязвимость и другие угрозы, связанные с искусственным интеллектом, на конференции по безопасности Objective by the Sea в ноябре.
Этот эпизод представляет собой наглядное исследование долга по обеспечению безопасности, который могут накопить продукты агентного ИИ, когда они выходят на рынок. Помощник, который может читать ваши сообщения, оплачивать покупки и действовать через ваши учетные записи, с точки зрения злоумышленника является единственной важной целью, и скомпрометировать его гораздо дешевле, чем создавать специальное вредоносное ПО для каждой службы, к которой он обращается.
Для пользователей практические уроки знакомы, но по-новому актуальны: ограничьте доступ ИИ-помощника, относитесь к его привилегиям так же серьезно, как к своим собственным учетным данным, и скептически относитесь к продуктам, которые по умолчанию маршрутизируют конфиденциальные данные, такие как голосовая диктовка, через сторонние серверы. Что касается отрасли, мнение исследователей более резкое: безопасность не может быть исправлением после запуска программного обеспечения, которое хранит ключи к чьей-то цифровой жизни.
---
Будьте в курсе ИИПоследние новости, аналитика и прорывы в сфере ИИ — всё в одном месте.
Читать больше новостей об ИИ →
