Secondo quanto riportato da Ars Technica, l'assistente AI Muse di Meta veniva fornito con una grave vulnerabilità zero-day che consentiva a qualsiasi applicazione installata localmente di rubare il token dell'account Muse di un utente e di sfruttare i privilegi insolitamente ampi dell'agente.
La falla è stata scoperta da Patrick Wardle, un veterano ricercatore sulla sicurezza macOS, fondatore della Objective-See Foundation ed ex dipendente della NASA e della National Security Agency. La sua rivelazione arriva in un momento delicato per Meta: circa 12 ore prima che Wardle diventasse pubblica, Amazon aveva già iniziato a impedire alle persone di utilizzare Muse per fare acquisti sul suo sito, definendolo un "agente AI non autorizzato" che viola le Condizioni d'uso di Amazon. Per maggiori informazioni su questa storia, consulta la nostra notizie sull'IA.
Come funzionava il Muse Zero-Day
Muse, presentato da Meta qualche settimana fa, è progettato per essere un assistente personale aggressivo. Secondo Ars Technica, "prenota appuntamenti, compila moduli e gestisce il servizio clienti", "rimuove in modo proattivo le attività dal piatto" e può "effettuare acquisti, generare immagini, creare documenti e connettersi con le tue app e servizi preferiti". L'app funziona su macOS (curiosamente non esiste una versione per Windows) e si connette agli account WhatsApp, e-mail, calendario e social media dell'utente.
Questo livello di accesso è ciò che rende significativa la vulnerabilità. Affinché Muse funzioni, gli utenti devono autenticarlo per ciascun servizio e concedergli ampie autorizzazioni del sistema operativo: scrittura di file su disco, accesso al microfono e alla fotocamera e monitoraggio della posizione e dei calendari.
Wardle ha scoperto che gli sviluppatori di Meta hanno progettato l'assistente in modo che qualsiasi app installata localmente o comando eseguito, indipendentemente dalle autorizzazioni di macOS, potesse modificare un lungo elenco di impostazioni non documentate. La maggior parte di queste impostazioni erano innocue, come l'attivazione della modalità oscura. Uno, tuttavia, controlla dove viene elaborato il discorso sensibile dell'utente e lo stesso meccanismo potrebbe esporre il token che autentica un utente sul proprio account Muse.
"Possiamo manipolare l'agente e sfruttare i suoi privilegi per fare quello che vogliamo", ha detto Wardle ad Ars Technica. "Quindi, invece di dover scrivere un programma antimalware per Mac molto completo, possiamo semplicemente sfruttare l'assistente AI stesso."
In pratica, Wardle ha affermato di aver sviluppato diversi attacchi proof-of-concept, compresi quelli che scrivono file dannosi su disco. Un percorso di attacco descritto prevede che il server dell'aggressore agisca come proxy tra l'utente Muse e l'endpoint di Meta: una volta che l'utente pronuncia un comando vocale, il server dell'aggressore inserisce un comando dannoso, ad esempio inviando un archivio di tutti i messaggi WhatsApp all'aggressore, e ottiene il controllo permanente sull'account Muse.
Decisioni di progettazione sotto il microscopio
Wardle ha attribuito l'exploit a diverse scelte progettuali specifiche. Una è stata la decisione di Meta di gestire la dettatura di Muse nel cloud, dove l'azienda può registrarla, anziché utilizzare la trascrizione sul dispositivo supportata da tempo da macOS. Se fosse stata scelta l’alternativa locale più sicura, ha detto, l’attacco non sarebbe stato possibile.
Un altro consentiva a qualsiasi app di controllare l'endpoint delle impostazioni non documentate. Wardle ha suggerito che Meta probabilmente intendeva consentire alle app dei partner di regolare le preferenze dell'interfaccia, ma estendere tale controllo al punto in cui viene elaborato il parlato sensibile ha trasformato una funzionalità di comodità in una superficie di attacco.
"Per me, il livello di sicurezza di queste app è infinitamente più alto", ha affermato Wardle. "Non devono essere perfetti, ma quando dai un'occhiata ai Muse, è come se, secondo me, non pensassero alla sicurezza, il che è davvero preoccupante. Per lo meno, dovrebbero pensare alla sicurezza fin dall'inizio, e semplicemente non lo fanno."
Meta ha pubblicato due post in altrettante settimane documentando le decisioni sulla progettazione di sicurezza e privacy dietro un assistente con un accesso così ampio ai dati degli utenti: una sequenza temporale che ora si legge in modo diverso alla luce della divulgazione. Ars Technica ha anche notato il contesto più ampio: le rivelazioni secondo cui i test interni dei modelli di Anthropic e Google hanno provocato violazioni della sicurezza di reti esterne di terze parti che gli ingegneri non avrebbero mai avuto intenzione di toccare.
Un hotfix e un avviso per l'intelligenza artificiale di Agentic
Più di 12 ore dopo la pubblicazione del rapporto, Meta ha affermato di aver rilasciato un hotfix che ha corretto lo zero-day. Meta non ha risposto immediatamente a una richiesta di commento sulla tempistica della correzione.
Gli esperti di sicurezza sostengono da tempo che una volta che un dispositivo viene compromesso, tutte le scommesse sono perse: una controargomentazione su cui spesso si appoggiano i fornitori di software privilegiati. Wardle ha respinto questa inquadratura per Muse: una semplice variazione della tecnica di ingegneria sociale ClickFix, che è diventata straordinariamente efficace nell'ingannare le persone e indurle a infettare i propri dispositivi, è tutto ciò di cui un utente malintenzionato ha bisogno per far funzionare codice dannoso sul Mac di un bersaglio.
Wardle prevede di discutere la vulnerabilità e altre minacce all'assistente AI in modo più dettagliato alla conferenza sulla sicurezza Objective by the Sea di novembre.
L’episodio è un caso di studio mirato sul debito di sicurezza che i prodotti di intelligenza artificiale possono accumulare quando corrono verso il mercato. Un assistente in grado di leggere i tuoi messaggi, pagare gli acquisti e agire sui tuoi account è, dal punto di vista di un utente malintenzionato, un unico obiettivo di alto valore e comprometterlo è molto più economico che creare malware su misura per ogni servizio che tocca.
Per gli utenti, le lezioni pratiche sono familiari ma recentemente urgenti: limitare ciò a cui un assistente AI è autorizzato ad accedere, trattare i suoi privilegi con la stessa serietà con cui tratti le tue credenziali ed essere scettico nei confronti dei prodotti che instradano input sensibili come la dettatura vocale attraverso server di terze parti per impostazione predefinita. Per l'industria, il messaggio dei ricercatori è schietto: la sicurezza non può essere una patch post-lancio per un software che detiene le chiavi della vita digitale di qualcuno.
---
Rimani Aggiornato sull'IALe ultime notizie, analisi e scoperte sull'intelligenza artificiale — tutto in un posto.
Leggi altre notizie sull'IA →
