Помічник Meta у сфері штучного інтелекту Muse, агент, який, на думку компанії, керуватиме електронною поштою, календарями та покупками для мільйонів користувачів, зіткнувся з проблемами у власному дворі. Відповідно до звіту Reuters, опублікованого в середу та підсумованого The Verge, під час внутрішнього тестування співробітників агенти Muse переплутали повідомлення, залучили несподівані чати з інших програм і отримали доступ до служб, включаючи Signal, до яких співробітники ніколи не підключалися.
Найбільш тривожні інциденти стосувалися загадкових неконтекстних повідомлень, надісланих агентом, які містили інформацію інших людей, у багатьох випадках сформульованих як відповіді на запити, які користувачі ніколи не надсилали. Іншими словами, агент іноді поводився так, ніби відповідав на запитання, які ніхто не задавав, з даними, які не належать особі, яка його бачить.
Згідно з повідомленням Reuters, яке цитує The Verge, Деніел Робертс, виконавчий директор Meta, який контролює агентську програму, описав проблеми як «ізольовані випадки». Ця характеристика мало чим заспокоїла критиків, які стверджували, що помічник із таким великим охопленням взагалі не повинен створювати таких невдач.
Талісман із головним ключем
Муза, яку втілює усміхнений пухнастий талісман на ім’я Джоллі, є найагресивнішим кроком Meta, який вийшов за межі чат-ботів і перетворився на агентів, які діють від імені користувача. Агентство Reuters описало, що агент «копався в зашифрованих особистих повідомленнях» і надавав вигадану інформацію під час свого раннього розгортання — надзвичайно яскравий набір режимів збоїв для споживчого продукту, який підтримується одним із найбільших у світі бюджетів на дослідження ШІ.
Щоб дізнатися більше про цю історію, перегляньте наші поточні останні розробки ШІ.
З моменту запуску 8 вересня Muse рекламується як «штучний інтелект, який справляється», створений для того, щоб «звільнити вас від роботи» завдяки підключенню до електронної пошти, календарів, контактів і покупок. Запровадження було швидким: Meta повідомила у звіті про прибутки за третій квартал, що кількість користувачів Muse перевищила 10 мільйонів, причому близько 25 відсотків із них користуються помічником щодня, як повідомляв ZDNET.
Таке охоплення пов’язане з величезними потребами в даних. Практичний огляд ZDNET виявив, що Muse запитує доступ до «ваших контактів, календаря, повідомлень електронної пошти та навіть пропонує зберігати ваші логіни та паролі». На Android список додатків у магазині розкриває колекцію повідомлень, фотографій і відео, фінансової інформації, даних про стан здоров’я та фітнесу, аудіо, місцезнаходження, перегляд веб-сторінок і активність у програмі. Навчання моделі ввімкнено за умовчанням, якщо користувачі не відмовляться від цього.
Зразок, а не одноразовий
Невдачі під час тестування співробітників — не перша спіткання Muse. У жовтні Meta призупинила функцію Muse, яка дозволяла користувачам ділитися розмовами за посиланням, після того як дослідники з охоронної фірми Claroc виявили понад 6800 сторінок спільного доступу, доступних для загального доступу через звичайні записи DNS, повідомляв The Verge у той час. Викриті чати включали огляд доходів маркетингової компанії, заявку на позику власника малого бізнесу та повнорічний календар співробітників на робочому місці — документи, які мало хто з користувачів свідомо публікував би у відкритому Інтернеті.
«Люди мають можливість ділитися певними артефактами Muse, що створює сторінку, до якої можуть отримати доступ ті, хто має посилання», — сказала представник Meta Трейсі Клейтон у заяві The Verge, коли було оголошено про призупинення обміну. «Однак ми призупинили цю функцію, поки розглядаємо цей звіт і розглядаємо зміни способу виявлення цих посилань».
Послідовність має значення. Спершу посилання на спільний доступ просочили приватні розмови в мережу. Тепер тестування співробітників показало, що агенти читають зашифровані програми, які їм ніколи не надавалися. Обидва збої мають спільну першопричину: агент, розроблений для максимального підключення, підключений до систем, які зберігають дані інших людей, працює зі стандартними параметрами, які віддають перевагу можливостям, а не обережності.
Проблема не користувача
Значна частина занепокоєння щодо Muse стосується людей, які ніколи не підписувалися на неї. ZDNET зазначив, що дослідження показують, що Muse може створювати детальні профілі контактів користувача — друзів і сім’ї, які можуть не знати, що їхня інформація надходить до помічника Meta, оскільки хтось інший підключив їхню адресну книгу. Meta звернулася до того, як вона обробляє некористувацькі дані, але, як сказав ZDNET, «розглянуто» не означає, що некористувачі можуть висловитися.
Епізод також відбувається на тлі загострення конкуренції на агентському ринку. Meta змагається з OpenAI, який запустив власних постійних агентів, і групу стартапів, які обіцяють автономне виконання завдань. Агентство Reuters назвало невдачі саме тому, що Meta робить велику ставку на Muse — чим швидше розгортання, тим швидше видно переваги.
Що говорить Meta — і що буде далі
Офіційна позиція Meta полягає в тому, що проблеми поодинокі та вирішуються. Компанія не повідомила, чи змінила вона дозволи на доступ до програми Muse після інцидентів із Signal, або який технічний механізм дозволив агенту отримати доступ до програм, до яких її користувач ніколи не підключався. Саме ці деталі повідомлять користувачам, чи були збої помилками в середовищі тестування чи симптомами самого дизайну.
Що стосується галузі, то висновки Reuters знаходяться в центрі ширшої дискусії про те, скільки автономії та доступу до даних повинні мати персональні агенти ШІ за замовчуванням. Регулятори в Європі та кількох штатах США вже перевіряють практику забезпечення конфіденційності агентів, і кожен подібний інцидент стає доказом А на слуханнях, які наразі дали більше попереджень, ніж правил.
До того часу порада, яка поширюється серед дослідників конфіденційності, є прямою: ставтеся до дозволів агента так, як до нового працівника з головним ключем — наданий навмисно, вузький обсяг і постійний аудит. Перші місяці Muse показують, що індустрія ще не засвоїла цей урок.
Короткий огляд ключових фактів
- Агентство Reuters повідомило, що агенти Muse переплутали повідомлення та отримали доступ до Signal, а співробітники інших додатків не підключилися
- Здавалося, деякі повідомлення містять інформацію інших людей, сформульовану як відповіді на запити, які ніколи не надсилалися
- Деніел Робертс з Meta назвав проблеми "окремими випадками"
- Muse перевищила 10 мільйонів користувачів, приблизно 25 відсотків користуються нею щодня, згідно з звітом Meta про прибутки за 3 квартал.
- У жовтні Meta призупинила функцію обміну посиланнями Muse після того, як дослідники виявили 6800+ загальнодоступних чатів.
---
Будьте попереду ШІОтримуйте останні новини штучного інтелекту, аналіз і прориви — усе в одному місці.
Читати більше новин AI →