Un’operazione di puntura su larga scala contro gli impianti idraulici del settore dell’intelligenza artificiale ha documentato cosa succede ai messaggi che gli utenti inviano ogni giorno – e la risposta è: perdono. Il ricercatore di sicurezza HD Moore, capo ricercatore della società di sicurezza industriale Dragos, ha inviato quasi due milioni di richieste di intelligenza artificiale contenenti segreti unici e tracciabili ai fornitori di intelligenza artificiale e poi ha osservato dove questi segreti venivano alla luce. "Ciò che abbiamo scoperto ha rivelato violazioni della sicurezza, furti immediati e diffusi fallimenti nella protezione dei dati dei clienti", ha scritto Moore in un rapporto pubblicato giovedì.
I risultati, riportati in dettaglio da Ars Technica, arrivano come i router AI – servizi broker come OpenRouter e Vercel che accettano richieste dagli utenti finali e li instradano a qualunque fornitore di inferenza sia più economico o più adatto – sono diventati l’infrastruttura centrale per migliaia di applicazioni. Hanno anche innescato una rapida risposta del settore: OpenRouter ha pubblicato il proprio annuncio di incidente il 22 novembre, affermando di aver escluso tre fornitori, rimosso 125 endpoint dall’idoneità a Zero Data Retention e informato i clienti potenzialmente interessati.
Come funzionava la trappola per canarini
Moore ha assemblato una raccolta di chiavi di accesso AWS funzionanti legate ad account vuoti, password SSH funzionanti e URL univoci, nomi DNS e riferimenti a repository git privati. Nessuno dei segreti era mai stato utilizzato prima e Moore controllava l'infrastruttura dal lato ricevente. Ogni segreto veniva inserito esattamente in un prompt inviato a un singolo fornitore, quindi se il segreto successivamente emergesse da qualche parte, il suo viaggio potrebbe essere ricondotto all'esatto anello della catena responsabile.
Il design è importante a causa del modo in cui l’ecosistema AI sposta effettivamente i dati. I prompt vengono crittografati durante il transito, ma vengono decrittografati a ogni hop. Un router AI legge il testo in chiaro per selezionare fornitori di inferenza adeguati; il prompt viene quindi spesso inoltrato a un pool di modelli, a volte eseguiti all'interno di diverse società di hosting. I prompt possono persino passare da un router all'altro, ad esempio da Vercel a OpenRouter, con ciascun intermediario libero di registrare e archiviare il contenuto in base alle proprie policy.
Tre provider violati, chiavi utilizzate in poche ore
La scoperta più allarmante riguarda tre distinti provider di hosting che sono stati compromessi durante l’esperimento. Secondo Moore, gli aggressori che hanno violato un provider hanno riutilizzato "un paio di centinaia" delle chiavi AWS installate. Ogni chiave era stata inviata esattamente in una richiesta a un fornitore, in poche brevi finestre alla fine di ottobre - e "ogni richiesta che abbiamo inviato durante quelle finestre è stata rubata". Fondamentalmente, alcune chiavi rubate provenivano da richieste che il provider aveva rifiutato prima che un modello venisse eseguito, indicando che l'aggressore stava copiando il traffico all'ingresso del provider piuttosto che più in profondità nello stack di inferenza.
Nelle altre due violazioni, alcune delle richieste rubate sono state contrassegnate come Zero Data Retention. "Un flag sulla privacy non aiuta quando l'aggressore è già all'interno", ha scritto Moore. In alcuni casi, le parti dietro le intrusioni hanno testato le chiavi esca in poche ore, hanno frugato nei bucket S3, nei gestori dei segreti e negli archivi dei parametri per ulteriori credenziali, hanno tentato di abilitare modelli ospitati in AWS Bedrock e hanno aggiunto i propri utenti IAM per mantenere l'accesso. Nel complesso, le chiavi rubate sono state utilizzate "decine di migliaia" di volte nelle chiamate API AWS. I segreti rubati a due dei provider violati sono stati utilizzati insieme, quasi immediatamente, dallo stesso server noleggiato: una prova evidente che un avversario li ha compromessi entrambi.
Rivenditori che rubano e un laboratorio che raschia
Non tutti i leaker erano hacker. Moore ha documentato i rivenditori che attiravano le richieste con prezzi bassi, attivavano la registrazione delle richieste e semplicemente aspettavano. Li ha identificati inviando richieste identiche allo stesso modello attraverso venditori diversi: quando le credenziali venivano riutilizzate da un venditore ma non da un altro, il colpevole era chiaro.
Il caso di scraping più evidente, ha scritto Moore, riguardava un laboratorio cinese di intelligenza artificiale i cui sistemi recuperavano gli URL segreti da più della metà delle richieste inviate ai suoi modelli tra luglio e ottobre, tra cui circa due terzi delle richieste esplicitamente contrassegnate come "nessuna raccolta dati" o Zero Data Retention. Il raschietto appariva solitamente due o tre giorni dopo ogni richiesta. Non si limitava ai clienti diretti: diversi provider di hosting statunitensi rivendono i modelli del laboratorio e le richieste inviate tramite quegli intermediari americani hanno innescato esattamente lo stesso scraper. Un cliente che ha scelto un fornitore statunitense appositamente per conservare i dati negli Stati Uniti, in altre parole, non ha ottenuto ciò per cui ha pagato. Separatamente, un client git su un cloud diverso ha iniziato a tentare di clonare i repository privati a cui si fa riferimento nei prompt, ma solo per i prompt che utilizzavano i modelli di quel laboratorio.
OpenRouter risponde
L’esperimento ha prodotto rapidamente conseguenze nel mondo reale. Ars Technica ha riferito in un aggiornamento che OpenRouter ha inviato un'e-mail ai clienti il 21 novembre avvertendoli che alcuni dei loro messaggi potrebbero essere stati letti, citando la ricerca: la potenziale esposizione riguardava messaggi inviati a MiniMax, un fornitore di modelli con sede in Cina, direttamente o tramite tre rivenditori: AtlasCloud, Novita e StreamLake. OpenRouter ha rimosso l'etichetta "Zero Data Retention" dagli endpoint del modello MiniMax.
Nel suo post sul blog ufficiale del 22 novembre, OpenRouter ha confermato di aver escluso tre provider, rimosso 125 endpoint dall'idoneità ZDR e notificato agli utenti interessati se i provider avevano o meno pubblicato post. La società ha affermato che i risultati "non hanno mostrato alcuna violazione o accesso non autorizzato da parte di OpenRouter", ha ringraziato il team Dragos e ha affermato che i fornitori che desiderano rimanere sulla piattaforma "dovranno soddisfare" un livello di sicurezza crescente poiché OpenRouter integra tecniche di test simili.
Moore ha anche riscontrato delle fughe di notizie a coda lunga: un provider di hosting statunitense ha scansionato un URL segreto più di due mesi dopo una singola chiamata di inferenza al suo endpoint di ricerca, e un altro ha eseguito uno scraper che restituiva URL inseriti giorni dopo ogni richiesta, indipendentemente da quale router ha inviato il prompt.
Cosa possono fare gli utenti
La difesa più efficace, ha affermato Moore, è l’hosting dei modelli in sede, un’opzione costosa che poche organizzazioni possono giustificare. La misura migliore successiva è acquistare direttamente da un fornitore di primo livello, con "un contratto e un'informativa sulla privacy da leggere" ed evitare fornitori predefiniti o pool di rivenditori scegliendo tu stesso i fornitori a monte. Anche in questo caso, ha avvertito, non vi è alcuna garanzia che i dati non trapeleranno.
L’esperimento è l’accusa più severa finora contro le pratiche sulla privacy nel mercato dell’inferenza in rapida crescita: la catena tra un’app e un modello può ora coinvolgere router, rivenditori e livelli di hosting su più continenti, ciascuno con le proprie politiche di registrazione, e le etichette intese a rassicurare i clienti – come Zero Data Retention – possono essere rotte o rimosse senza preavviso. Per un settore che chiede alle imprese di incollare i propri documenti, codice e credenziali nei prompt, il messaggio dei due milioni di canarini è scomodo: fino a quando le tubature non cambieranno, si presuppone che ogni salto possa leggere ogni parola.
Stai al passo con l'intelligenza artificiale
La sicurezza e la privacy sono ora preoccupazioni fondamentali per chiunque si basi sull’intelligenza artificiale. Per le ultime notizie sull'intelligenza artificiale e una copertura indipendente delle storie più importanti del settore, visita AI Buzz Wire.
Leggi altre notizie sull'AI →