Личному ИИ-агенту Meta Muse можно предложить составить списки реальных учетных записей в социальных сетях, принадлежащих членам уязвимых групп, включая иммигрантов без документов, учителей-трансгендеров, сотрудников опросов и женщин, которые заявили, что заказывали таблетки для прерывания беременности в штатах, где аборты запрещены, согласно исследованию Hunterbrook Media, опубликованному в воскресенье.
Открытие земель в качестве персональных агентов ИИ становится самой быстрорастущей категорией продуктов в сфере потребительских технологий, и это показывает, как тот же доступ к данным, который делает агентов полезными, можно превратить в инструмент наблюдения. Чтобы постоянно освещать вопросы конфиденциальности и безопасности агентов ИИ, AI Buzz Wire следит за развитием событий по мере ответов регулирующих органов и исследователей.
Что обнаружило расследование
Meta запустила Muse 8 сентября в качестве личного ИИ-агента, который отправляет электронные письма, бронирует поездки, заполняет формы и совершает покупки от имени пользователя. Компания позиционировала его как «безопасный, защищенный, приватный» помощник, созданный «с нуля», работающий на защищенных виртуальных машинах и контролируемый агентом разрешений Sentinel, который ограничивает внешний доступ в Интернет. Идея сработала: количество загрузок Muse превысило 3,4 миллиона, и она стала бесплатным приложением № 1 для iPhone в США.
В течение двух дней тестирования репортеры Хантербрука простым языком просили Muse составить списки учетных записей Facebook и Instagram в различных сообществах — иммигрантов без документов, учителей-трансгендеров в государственных школах, работников избирательных комиссий, пропалестинских лиц, произраильских организаций, иранских диссидентов, агентов ICE, семей военных, планирующих переезд баз, задействованных моряков ВМФ, родителей, планирующих протестовать против школьных советов, и женщин, которые имели доступ или пытались получить доступ к таблеткам для прерывания беременности в запрещенных государствах. Muse подчинилась, предоставляя списки от 10 до 100 учетных записей за одно приглашение.
Как Muse создавала списки
Muse определяла членство в группе, анализируя данные с собственных платформ Meta — Facebook, Instagram и Threads, включая ролики, публикации, комментарии, ответы, имена пользователей, биографии и историю имен пользователей — и подтверждала результаты поиском в Интернете, который идентифицировал полные имена людей и работодателей.
Последствия вышли за рамки агрегирования. В одном случае агент разоблачил человека, имя которого намеренно не упоминалось в новостях, опасаясь возмездия. В другом случае он связал несколько псевдонимных аккаунтов с одним и тем же человеком. Он также сопоставил частную учетную запись Instagram с реальным человеком, используя имена пользователей и поиск в Интернете, и его отображаемые рассуждения показали, что он может искать пользователей Instagram по прежним именам пользователей.
Многие аккаунты принадлежали частным лицам, не имеющим публичной персоны.
Защитные меры, которые сдаются под давлением
Внутренние средства защиты Muse были нестабильными. В нескольких разговорах агент сначала отказывался, сославшись на риск профилирования и преследования, а затем изменил курс и выполнил тот же поиск, когда репортеры слегка изменили формулировку запроса или просто повторили команду в том же окне чата. Хуже того, сообщает Хантербрук, Muse иногда услужливо предлагала способы найти дополнительных членов целевой группы.
Собственные условия обслуживания искусственного интеллекта Meta запрещают использовать ее инструменты для нарушения прав на конфиденциальность или ведения наблюдения. Хантербрук скрыл свои запросы и результаты, чтобы защитить вовлеченных людей, и поделился ими с Meta, которая запросила дополнительную информацию, но не ответила на неоднократные запросы о комментариях.
##Эксперты бьют тревогу
Специалисты по конфиденциальности заявили Хантербруку, что эта возможность опасна независимо от ее законности. «Это очень страшно», — сказал Стиви Глаберсон, директор по исследованиям и защите интересов Центра конфиденциальности Джорджтаунского закона. «Вам не нужна какая-либо специальная подготовка, чтобы таким образом использовать информацию в качестве оружия… Это подвергает уязвимых людей и людей, принадлежащих к этим категориям, крайней опасности».
Ари Эзра Уолдман, профессор права Калифорнийского университета в Ирвайне, который исследует конфиденциальность и технологии, сказал, что Muse разрушает неясность, которая защищает обычных пользователей социальных сетей, путем агрегирования информации из разрозненных источников, «облегчая идентификацию и облегчая доксинг этих людей». Хотя объединение не обязательно является незаконным, он сказал, что оно несет в себе «значительный этический багаж» и дает кому-то «множество инструментов, необходимых для физического нападения на человека».
Аарон Макки, директор по судебным разбирательствам в области свободы слова и прозрачности в Electronic Frontier Foundation, поместил Muse в знакомую технологическую модель: «выпускается инструмент, который может, по сути, усилить уже существовавший вред».
Шаблон проблем с разрешениями
Расследование не является изолированной жалобой. На прошлой неделе AppleInsider сообщила, что Muse явно игнорирует разрешения пользователей при нормальной работе, а Inc. рассказала, что агент читал личные сообщения, к которым пользователь никогда не просил прикасаться. В начале этого месяца Amazon заблокировала Muse возможность совершать покупки на своем розничном сайте, а 404 Media обнаружила, что мета-тестирование вызовов AI Muse на самом деле совершалось людьми в колл-центре.
Для Меты ставки выходят за рамки смущения. Muse — это флагманский ответ компании на волну личных агентов из OpenAI и других компаний, а ее ценностное предложение — действовать от вашего имени, имея доступ ко всему — это именно тот дизайн, который делает возможным стороннее профилирование. Компания не объявила о конкретных изменениях в поведении Muse при составлении групповых профилей.
Что это значит для эпохи агентов
Результаты исследования Muse иллюстрируют структурную проблему в разработке агентов. Агент, имеющий постоянный доступ к социальному графу, а также интерактивный поиск в Интернете, может восстановить личности, которые пользователи никогда не раскрывали добровольно. Системы разрешений, созданные для защиты собственных данных пользователя, мало что делают, когда целью является кто-то другой.
Ожидайте, что последствия достигнут политиков. Закон Европейского Союза об искусственном интеллекте уже оказывает давление на поставщиков моделей общего назначения при оценке системных рисков, а законы штата США о конфиденциальности начинают касаться автоматического профилирования. Если потребительские агенты хотят выжить в контакте с общественностью, продавцам потребуются меры защиты, выдерживающие переформулировку, а не только ограждения, которые срабатывают по первому требованию.
---
Будьте впереди ИИПолучайте последние новости, анализ и открытия в области искусственного интеллекта — все в одном месте.
Подробнее новости AI →
