Metaův asistent AI Muse, agent, o kterém společnost sází, že bude spravovat e-maily, kalendáře a nakupování pro miliony uživatelů, se dostal do problémů na svém vlastním dvorku. Během interního testování zaměstnanců agenti Muse zaměňovali zprávy, stahovali neočekávané chaty z jiných aplikací a přistupovali ke službám – včetně Signal – ke kterým se zaměstnanci nikdy nepřipojili, podle zprávy agentury Reuters zveřejněné ve středu a shrnuté The Verge.

Nejvíce alarmující incidenty zahrnovaly záhadné zprávy mimo kontext zasílané agentem, které vypadaly, že obsahují informace jiných lidí, v mnoha případech formulované jako odpovědi na dotazy, které uživatelé nikdy nepodali. Jinými slovy, agent se někdy choval, jako by odpovídal na otázky, které nikdo nepoložil, s daty, které nepatřily osobě, která to viděla.

Daniel Roberts, výkonný ředitel Meta dohlížející na program agentů, popsal problémy jako „izolované incidenty“, podle zprávy agentury Reuters citované The Verge. Charakterizace udělala jen málo pro tiché kritiky, kteří tvrdí, že asistent s tak velkým dosahem by takové selhání vůbec neměl způsobit.

Maskot s hlavním klíčem

Muse, ztělesněný smajlíkem, fuzzy maskotem jménem Jolly, je zatím nejagresivnějším krokem Meta za hranicemi chatbotů a do agentů, kteří jednají jménem uživatele. Agentura Reuters popsala, že agent se „zahrabal do zašifrovaných osobních zpráv“ a během raného nasazení poskytl vymyšlené informace – neobvykle živou sadu poruchových režimů pro spotřebitelský produkt podporovaný jedním z největších světových rozpočtů na výzkum AI.

Další kontext k tomuto příběhu naleznete v našem probíhajícím nejnovějším vývoji AI.

Od svého uvedení 8. září je Muse propagováno jako „AI, která to zvládne“, vytvořená tak, aby zbavila „rušné práce“ připojením k e-mailu, kalendářům, kontaktům a nakupování. Adopce byla rychlá: Meta ve své zprávě o výdělcích za třetí čtvrtletí uvedla, že Muse překonalo 10 milionů uživatelů, přičemž asi 25 procent z nich používá asistenta denně, jak uvedl ZDNET.

Tento dosah přichází s velkými požadavky na data. Praktická kontrola ZDNET zjistila, že Muse požaduje přístup k „vašim kontaktům, kalendáři, e-mailovým zprávám a dokonce nabídkám uložení vašich přihlašovacích údajů a hesel“. Na Androidu obsahuje záznam aplikace v obchodě sbírku zpráv, fotografií a videí, finanční informace, údaje o zdraví a kondici, zvuk, polohu, procházení webu a aktivitu v aplikaci. Výuka modelu je ve výchozím nastavení povolena, pokud se uživatelé neodhlásí.

Vzor, ne jednorázový

Nehody při testování zaměstnanců nejsou prvním klopýtnutím Muse. V říjnu Meta pozastavila funkci Muse, která uživatelům umožňovala sdílet konverzace prostřednictvím odkazu poté, co výzkumníci z bezpečnostní firmy Claroc objevili více než 6 800 sdílených stránek veřejně zjistitelných prostřednictvím běžných DNS záznamů, uvedl tehdy The Verge. Exponované chaty zahrnovaly přehled příjmů marketingové společnosti, žádost vlastníka malé firmy o půjčku a celoroční kalendář zaměstnanců na pracovišti – druh dokumentů, které by jen málo uživatelů vědomě zveřejnilo na otevřeném webu.

"Lidé mají možnost sdílet konkrétní artefakty Muse, což vytváří stránku, na kterou se mohou dostat ti, kteří mají odkaz," uvedla mluvčí Meta Tracy Claytonová v prohlášení pro The Verge, když bylo oznámeno pozastavení sdílení. "Nicméně jsme pozastavili tuto funkci, zatímco kontrolujeme tuto zprávu a zvažujeme změny způsobu, jakým lze tyto odkazy objevit."

Na pořadí záleží. Nejprve z odkazů na sdílení unikly soukromé konverzace na web. Nyní se při testování zaměstnanců objevili agenti, kteří čtou zašifrované aplikace, které nikdy nedostali. Obě selhání sdílejí hlavní příčinu: agent navržený pro maximální konektivitu, připojený k systémům, které uchovávají data jiných lidí, pracující s výchozími nastaveními, které upřednostňují schopnosti před opatrností.

Problém neuživatelů

Velká část starostí kolem Muse se týká lidí, kteří se k ní nikdy nepřihlásili. ZDNET poznamenal, že výzkum naznačuje, že Muse dokáže vytvořit podrobné profily kontaktů uživatele – přátel a rodiny, kteří možná netuší, že jejich informace proudí do asistentky Meta, protože někdo jiný připojil jejich adresář. Meta se zabývala tím, jak nakládá s neuživatelskými daty, ale jak uvedl ZDNET, „adresováno“ neznamená, že se mohou vyjádřit i neuživatelé.

Epizoda také přistane uprostřed sílící konkurence na trhu agentů. Meta závodí s OpenAI, která spustila své vlastní vždy aktivní agenty a plejádu startupů slibujících autonomní dokončení úkolů. Agentura Reuters označila nehody tak, že se objevily právě proto, že Meta sází na Muse – čím rychlejší bude zavedení, tím rychleji se zobrazí okraje.

Co říká Meta — a co přijde dál

Oficiální stanovisko Meta je, že problémy jsou izolované a řeší se. Společnost neuvedla, zda po incidentech se signálem změnila přístupová oprávnění aplikace Muse, ani jaký technický mechanismus umožnil agentovi dostat se k aplikacím, které se jeho uživatel nikdy nepřipojil. Tyto detaily jsou ty, které by uživatelům řekly, zda selhání byly chybami v testovacím prostředí nebo příznaky samotného návrhu.

Pokud jde o průmysl, zjištění agentury Reuters jsou uprostřed širší debaty o tom, jak velkou autonomii a přístup k datům by měli mít osobní agenti AI ve výchozím nastavení. Regulační orgány v Evropě a několika státech USA již prověřují praktiky ochrany soukromí agentů a každý incident, jako je tento, se stává ukázkou A při slyšení, které dosud přineslo více varování než pravidel.

Do té doby je rada, která koluje mezi výzkumníky v oblasti ochrany soukromí, strohá: zacházejte s oprávněními agentů, jako byste zacházeli s novým zaměstnancem pomocí hlavního klíče – udělovaného záměrně, úzce vymezeného a neustále kontrolovaného. První měsíce Muse naznačují, že průmysl ještě tuto lekci nepřijal.

Klíčová fakta na první pohled

  • Agentura Reuters uvedla, že agenti Muse zaměňovali zprávy a přistupovali k Signal a dalším zaměstnancům aplikací, kteří se nikdy nepřipojili
  • Zdá se, že některé zprávy obsahují informace jiných lidí, formulované jako odpovědi na nikdy nezaslané dotazy
  • Daniel Roberts z Meta nazval problémy „izolovanými incidenty“
  • Muse překonalo 10 milionů uživatelů, přibližně 25 procent je používá denně, na jeden hovor o výdělcích společnosti Meta ve 3. čtvrtletí
  • V říjnu Meta pozastavila funkci sdílení odkazů Muse poté, co výzkumníci našli 6800+ veřejně zjistitelných chatů

---

Stay Ahead of AI

Získejte nejnovější zprávy, analýzy a průlomové informace o umělé inteligenci – vše na jednom místě.

Přečtěte si další zprávy o AI →