Искусственный интеллект-помощник Meta Muse, агент, который, по мнению компании, будет управлять электронной почтой, календарями и покупками миллионов пользователей, столкнулся с проблемой у себя на заднем дворе. Согласно отчету Reuters, опубликованному в среду и обобщенному The Verge, во время внутреннего тестирования сотрудников агенты Muse смешивали сообщения, извлекали неожиданные чаты из других приложений и получали доступ к сервисам, включая Signal, к которым сотрудники никогда не подключались.

Наиболее тревожные инциденты были связаны с отправленными агентом загадочными вырванными из контекста сообщениями, которые, по-видимому, содержали информацию других людей и во многих случаях были сформулированы как ответы на запросы, которые пользователи никогда не отправляли. Другими словами, агент иногда вел себя так, как если бы он отвечал на вопросы, которые никто не задавал, используя данные, которые не принадлежали человеку, который его видел.

Дэниел Робертс, руководитель Meta, курирующий агентскую программу, назвал проблемы «отдельными инцидентами», согласно сообщению Reuters, цитируемому The Verge. Эта характеристика мало что сделала для успокоения критиков, которые утверждают, что помощник с таким большим охватом вообще не должен допускать таких неудач.

Талисман с мастер-ключом

Muse, воплощенная смайликом, пушистым талисманом по имени Джолли, является самым агрессивным шагом Meta, выходя за рамки чат-ботов и превращаясь в агентов, действующих от имени пользователя. Агентство Reuters описало агента как «зарывшегося в зашифрованные личные сообщения» и предоставлявшего вымышленную информацию во время его раннего развертывания — необычно яркий набор режимов сбоя для потребительского продукта, подкрепленный одним из крупнейших в мире бюджетов на исследования ИИ.

Дополнительную информацию об этой истории можно найти в наших текущих последних разработках в области искусственного интеллекта.

С момента своего запуска 8 сентября Muse рекламировался как «ИИ, который делает все», созданный для того, чтобы «снять с вас рутинную работу», подключаясь к электронной почте, календарям, контактам и покупкам. Принятие было быстрым: Meta сообщила в своем отчете о прибылях и убытках за третий квартал, что количество пользователей Muse превысило 10 миллионов, причем около 25 процентов из них используют помощника ежедневно, как сообщает ZDNET.

Такой охват сопровождается огромными требованиями к данным. Практический обзор ZDNET показал, что Muse запрашивает доступ к «вашим контактам, календарю, сообщениям электронной почты и даже предлагает хранить ваши логины и пароли». На Android список приложений в магазине раскрывает коллекцию сообщений, фотографий и видео, финансовую информацию, данные о здоровье и фитнесе, аудио, местоположение, просмотр веб-страниц и активность приложений. Обучение модели включено по умолчанию, если пользователи не отключат его.

Образец, а не единичный экземпляр

Неудачи с тестированием сотрудников — не первая ошибка Muse. В октябре Meta приостановила работу функции Muse, которая позволяла пользователям обмениваться разговорами по ссылке, после того как исследователи из охранной фирмы Claroc обнаружили более 6800 страниц общего доступа, которые публично доступны через обычные записи DNS, сообщила тогда The Verge. Обнаруженные чаты включали обзор доходов маркетинговой компании, заявку на кредит владельца малого бизнеса и годовой календарь сотрудников на рабочем месте — документы, которые немногие пользователи когда-либо сознательно публиковали бы в открытой сети.

«Люди имеют возможность делиться определенными артефактами Muse, что создает страницу, к которой могут получить доступ те, у кого есть ссылка», — заявила представитель Meta Трейси Клейтон в заявлении для The Verge, когда было объявлено о приостановке обмена. «Однако мы приостановили эту функцию, пока рассматриваем этот отчет и рассматриваем изменения в способах обнаружения этих ссылок».

Последовательность имеет значение. Сначала ссылки на общий доступ привели к утечке частных разговоров в сеть. Теперь тестирование сотрудников выявило агентов, читающих зашифрованные приложения, которые им никогда не давали. Обе сбои имеют общую основную причину: агент, предназначенный для максимального взаимодействия, подключенный к системам, в которых хранятся данные других людей, работающий с настройками по умолчанию, которые отдают предпочтение возможностям, а не осторожности.

Проблема, не связанная с пользователем

Большая часть беспокойства вокруг Muse связана с людьми, которые никогда не подписывались на нее. ZDNET отмечает, что исследования показывают, что Muse может создавать подробные профили контактов пользователя — друзей и родственников, которые могут даже не подозревать, что их информация поступает в помощник Meta, потому что кто-то другой подключил их адресную книгу. Meta рассмотрела, как она обрабатывает данные, не относящиеся к пользователям, но, как выразился ZDNET, «адресованность» не означает, что непользователи имеют право голоса.

Этот эпизод также происходит на фоне усиливающейся конкуренции на рынке агентов. Meta соперничает с OpenAI, которая запустила собственных постоянно работающих агентов и группу стартапов, обещающих автономное выполнение задач. Агентство Reuters представило эти неудачи как всплывшие именно потому, что Meta делает большую ставку на Muse: чем быстрее развертывание, тем быстрее проявятся преимущества.

Что говорит мета — и что будет дальше

Официальная позиция Меты заключается в том, что проблемы изолированы и решаются. Компания не сообщила, изменила ли она права доступа к приложениям Muse после инцидентов с Signal и какой технический механизм позволил агенту получить доступ к приложениям, которые его пользователь никогда не подключал. Именно эти детали расскажут пользователям, были ли сбои ошибками в среде тестирования или симптомами самого проекта.

В отрасли выводы Reuters оказываются в центре более широких дебатов о том, какой степенью автономии и доступа к данным должны обладать персональные ИИ-агенты по умолчанию. Регулирующие органы в Европе и нескольких штатах США уже изучают практику конфиденциальности агентов, и каждый инцидент, подобный этому, становится доказательством А на слушаниях, которые до сих пор принесли больше предупреждений, чем правил.

До тех пор совет, циркулирующий среди исследователей конфиденциальности, является резким: относитесь к разрешениям агента так же, как к новому сотруднику с мастер-ключом — предоставляемым намеренно, с узкой областью действия и постоянно проверяемым. Первые месяцы существования Muse показывают, что индустрия еще не усвоила этот урок.

Ключевые факты с первого взгляда

  • Агентство Reuters сообщило, что агенты Muse перепутали сообщения и получили доступ к Signal и другим приложениям, которые сотрудники никогда не подключали.
  • Некоторые сообщения содержали информацию других людей, сформулированную как ответы на никогда не отправляемые запросы.
  • Дэниел Робертс из Meta назвал проблемы «отдельными инцидентами».
  • Число пользователей Muse превысило 10 миллионов, около 25 процентов используют его ежедневно, согласно отчету Meta о доходах за третий квартал.
  • В октябре Meta приостановила функцию обмена ссылками Muse после того, как исследователи обнаружили более 6800 общедоступных чатов.

---

Будьте впереди ИИ

Получайте последние новости, анализ и открытия в области искусственного интеллекта — все в одном месте.

Подробнее новости AI →