Meta's Muse AI-assistent werd geleverd met een ernstige zero-day kwetsbaarheid waardoor elke lokaal geïnstalleerde applicatie het Muse-accounttoken van een gebruiker kon stelen en de ongewoon brede rechten van de agent kon bewapenen, volgens rapportage door Ars Technica.
De fout werd ontdekt door Patrick Wardle, een ervaren macOS-beveiligingsonderzoeker, oprichter van de Objective-See Foundation en een voormalig medewerker van NASA en de National Security Agency. Zijn onthulling komt op een delicaat moment voor Meta: ongeveer twaalf uur voordat Wardle naar de beurs ging, was Amazon al begonnen met het blokkeren van mensen om Muse te gebruiken om op zijn site te winkelen, en noemde het een "ongeautoriseerde AI-agent" die de gebruiksvoorwaarden van Amazon schendt. Voor meer context over dit verhaal, zie ons AI-trends.
Hoe de Muse Zero-Day werkte
Muse, die Meta een paar weken geleden introduceerde, is ontworpen als een agressieve persoonlijke assistent. Volgens Ars Technica kan het "afspraken boeken, formulieren invullen en de klantenservice afhandelen", "proactief taken van u overnemen" en "aankopen doen, afbeeldingen genereren, documenten maken en verbinding maken met uw favoriete apps en diensten." De app draait op macOS – er is, merkwaardig genoeg, geen Windows-versie – en maakt verbinding met de WhatsApp-, e-mail-, agenda- en sociale media-accounts van een gebruiker.
Dat toegangsniveau maakt de kwetsbaarheid zo groot. Om Muse te laten functioneren, moeten gebruikers het bij elke service authenticeren en uitgebreide machtigingen voor het besturingssysteem verlenen: bestanden naar schijf schrijven, toegang krijgen tot de microfoon en camera, en locatie en agenda's controleren.
Wardle ontdekte dat de ontwikkelaars van Meta de assistent zo hadden ontworpen dat elke lokaal geïnstalleerde app of uitgevoerde opdracht – ongeacht de eigen macOS-rechten – een lange lijst met ongedocumenteerde instellingen kon wijzigen. De meeste van die instellingen waren onschadelijk, zoals het schakelen tussen de donkere modus. Eén regelde echter waar gevoelige gebruikersspraak werd verwerkt, en hetzelfde mechanisme kon het token blootleggen dat een gebruiker authenticeert voor zijn Muse-account.
"We kunnen de agent manipuleren en zijn privileges benutten om te doen wat we willen", vertelde Wardle aan Ars Technica. "Dus in plaats van dat we een zeer uitgebreide Mac-malware-stealer moeten schrijven, kunnen we gewoon de AI-assistent zelf gebruiken."
In de praktijk zegt Wardle dat hij verschillende proof-of-concept-aanvallen heeft ontwikkeld, waaronder aanvallen die kwaadaardige bestanden naar schijf schrijven. Eén beschreven aanvalspad houdt in dat de server van een aanvaller fungeert als proxy tussen de Muse-gebruiker en het eindpunt van Meta: zodra de gebruiker een gesproken prompt uitspreekt, injecteert de server van de aanvaller een kwaadaardig commando (bijvoorbeeld door een archief van alle WhatsApp-berichten naar de aanvaller te sturen) en krijgt hij permanente controle over het Muse-account.
Ontwerpbeslissingen onder de microscoop
Wardle schreef de exploit toe aan verschillende specifieke ontwerpkeuzes. Eén daarvan was Meta's beslissing om het Muse-dictaat in de cloud af te handelen, waar het bedrijf het kan loggen, in plaats van de al lang ondersteunde transcriptie op het apparaat van macOS te gebruiken. Als voor het veiligere lokale alternatief was gekozen, zou de aanval niet mogelijk zijn geweest, zei hij.
Een andere was dat elke app het eindpunt van de ongedocumenteerde instellingen kon beheren. Wardle suggereerde dat Meta waarschijnlijk bedoeld was voor partner-apps om interfacevoorkeuren aan te passen, maar door die controle uit te breiden naar waar gevoelige spraak wordt verwerkt, werd een gemaksfunctie een aanvalsoppervlak.
"Voor mij ligt de lat oneindig veel hoger als het gaat om de veiligheid van deze apps", aldus Wardle. "Ze hoeven niet perfect te zijn, maar als je naar Muse kijkt, is het alsof ze, naar mijn mening, niet aan beveiliging hebben gedacht, wat echt zorgelijk is. Ze zouden op zijn minst vanaf het begin aan beveiliging moeten denken, en dat is gewoon niet zo."
Meta publiceerde twee berichten in evenveel weken waarin de beveiligings- en privacyontwerpbeslissingen werden gedocumenteerd achter een assistent met zo'n brede toegang tot gebruikersgegevens – een tijdlijn die nu anders leest in het licht van de onthulling. Ars Technica wees ook op de bredere achtergrond: onthullingen dat interne tests van modellen van Anthropic en Google resulteerden in beveiligingsinbreuken op externe netwerken van derden die ingenieurs nooit hadden willen aanraken.
Een hotfix en een waarschuwing voor Agentic AI
Meer dan twaalf uur nadat het rapport live ging, zei Meta dat het een hotfix had uitgebracht die de zero-day patchte. Meta reageerde niet onmiddellijk op een verzoek om commentaar op de tijdlijn van de oplossing.
Beveiligingsexperts hebben lang betoogd dat als een apparaat eenmaal is gecompromitteerd, alle weddenschappen zijn uitgesloten – een tegenargument waar leveranciers van geprivilegieerde software vaak op leunen. Wardle heeft dat kader voor Muse teruggedraaid: een eenvoudige variant van de ClickFix social-engineeringtechniek, die opmerkelijk effectief is geworden in het verleiden van mensen om hun eigen apparaten te infecteren, is alles wat een aanvaller nodig heeft om kwaadaardige code op de Mac van een doelwit te laten draaien.
Wardle is van plan de kwetsbaarheid en andere bedreigingen van AI-assistenten gedetailleerder te bespreken tijdens de Objective by the Sea-veiligheidsconferentie in november.
De aflevering is een concrete casestudy van de veiligheidsschuld die agentische AI-producten kunnen opbouwen als ze naar de markt racen. Een assistent die uw berichten kan lezen, aankopen kan doen en actie kan ondernemen via al uw accounts, is vanuit het perspectief van een aanvaller slechts één waardevol doelwit. Het compromitteren ervan is veel goedkoper dan het bouwen van op maat gemaakte malware voor elke dienst die ermee in aanraking komt.
Voor gebruikers zijn de praktische lessen bekend maar nu urgent: beperk waartoe een AI-assistent toegang mag krijgen, behandel zijn privileges net zo serieus als je eigen inloggegevens, en wees sceptisch tegenover producten die gevoelige invoer, zoals stemdictatie, standaard via servers van derden routeren. Voor de industrie is de boodschap van onderzoekers botter: beveiliging kan geen post-lanceringspatch zijn voor software die de sleutels bevat tot iemands digitale leven.
---
Blijf Voorop met AIHet laatste AI-nieuws, analyses en doorbraken — allemaal op één plek.
Lees meer AI-nieuws →
