Fireworks AI, la startup di inferenza supportata da Nvidia, ha notificato ai clienti che un incidente di sicurezza precedentemente divulgato era significativamente più ampio di quanto riportato inizialmente, con gli aggressori che hanno avuto accesso a informazioni su account e fatturazione e, per un insieme limitato di account, segreti, set di dati e pesi di modelli incompleti, secondo un bollettino sulla sicurezza aggiornato pubblicato sul suo sito il 9 novembre. Bloomberg e Forbes hanno riportato la divulgazione lunedì, con Forbes che descrive l'attacco informatico come una esposizione dei dati dei clienti e dei modelli di intelligenza artificiale.

La società ha rivelato per la prima volta l'incidente il 9 ottobre, quando ha affermato che era stato effettuato l'accesso solo ai segreti archiviati in Fireworks e utilizzati nei lavori di valutazione. Il nuovo aggiornamento amplia sostanzialmente tale valutazione e collega l’intrusione a un gruppo di criminali informatici motivati ​​dal punto di vista finanziario che perseguono ciò che il settore chiama “LLMJacking”: rubare l’accesso a modelli linguistici di grandi dimensioni e rivendere i token a gateway di instradamento illeciti. Per le aziende che monitorano le notizie sulla sicurezza del settore IA, il caso si preannuncia come un incidente di riferimento per una nuova classe di attacchi alle infrastrutture IA.

Come si è svolta la seconda violazione

Secondo il bollettino, un fornitore di servizi cloud di terze parti che ospitava le macchine di ricerca e sviluppo di Fireworks ha subito un incidente di sicurezza il 23 ottobre. Il giorno successivo, una parte non autorizzata ha utilizzato quel punto d'appoggio per raggiungere le macchine di sviluppo di Fireworks e ha eseguito un carico di lavoro non autorizzato che ha comportato un ulteriore impatto sui dati dei clienti. Fireworks afferma di aver rilevato l'attività lo stesso giorno e di aver adottato misure correttive e che al 25 ottobre non ha trovato ulteriori prove di un accesso non autorizzato riuscito alla piattaforma utilizzata dai clienti.

La società sta lavorando con l'Unità 42 di Palo Alto Networks, che sta conducendo analisi forensi, e ha affermato di aver informato le forze dell'ordine dopo l'incidente originale. Google Threat Intelligence Group e Mandiant hanno pubblicato un post sul blog il 2 novembre documentando l'ascesa di LLMJacking, le motivazioni alla base di esso e le tecniche utilizzate - contesto citato da Fireworks nella sua stessa divulgazione.

Quali dati sono stati acquisiti

Secondo il bollettino, l'applicazione interna interessata ha esposto diverse categorie di informazioni:

  • Metadati delle risorse, inclusi identificatori delle risorse di Fireworks, nomi visualizzati, descrizioni e orari di creazione.
  • Informazioni sulla fatturazione, inclusi indirizzi di fatturazione e spedizione, cronologia delle fatture e dei pagamenti, saldi dei conti e utilizzo del credito.
  • Pesi del modello e set di dati: per alcuni clienti è stato effettuato l'accesso a un sottoinsieme di pesi del modello e set di dati incompleti.

Fireworks ha affermato che i numeri delle carte di pagamento non sono memorizzati sui suoi sistemi e non sono stati interessati. Ha inoltre affermato di non aver rilevato alcun impatto sui suoi servizi principali Inference, Training SDK e Nexus, che funzionano con conservazione dei dati pari a zero per impostazione predefinita, il che significa che nessun dato di formazione o inferenza del cliente viene archiviato inattivo. La società ha affermato che sta informando direttamente i clienti i cui dati sono stati interessati con dettagli sull’impatto e sulle azioni di risposta consigliate.

Contenimento e domande aperte

Come parte della sua risposta, in collaborazione con l’Unità 42, Fireworks afferma di aver revocato e sostituito credenziali e account di servizio, rimosso privilegi elevati non necessari, percorsi di rete limitati e sistemi interessati isolati, accesso limitato ai sistemi di archiviazione e analisi dei dati e registrazione e monitoraggio rafforzati. Ha inoltre disabilitato i caricamenti e i download di set di dati self-service utilizzati da Batch Inference e dalla formazione basata su set di dati mentre l'indagine continua.

Rimangono aperte due questioni significative. In primo luogo, quanti dei "pesi dei modelli incompleti" a cui si accede sono effettivamente utilizzabili: i pesi parziali o in corso rubati da una pipeline di formazione possono ancora rivelare informazioni competitive sui modelli dei clienti in fase di sviluppo e Fireworks non ha detto quali clienti o quanti siano stati interessati. In secondo luogo, quali obblighi seguono per i clienti i cui set di dati proprietari sono stati esposti. La società afferma che le sue indagini sono in corso e potrebbero rivelare ulteriori informazioni.

Perché LLMJacking è in crescita

Gli attacchi LLMJacking prendono di mira i servizi di intelligenza artificiale ospitati sul cloud per raccogliere l’accesso a modelli utilizzabili anziché ai dati tradizionali. Le credenziali o i token rubati vengono poi rivenduti tramite gateway di routing ombra che offrono accesso a prezzo ridotto ai modelli commerciali. Il Threat Intelligence Group di Google e Mandiant hanno dedicato un rapporto del 2 novembre a questa tendenza, che i ricercatori di sicurezza hanno monitorato per circa due anni mentre l'adozione aziendale dell'inferenza ospitata è esplosa.

La divulgazione di Fireworks è uno dei primi casi confermati in cui gli aggressori sembrano aver combinato quel playbook con il furto di artefatti del modello del cliente presso un fornitore di infrastrutture AI. Si inserisce nel mezzo di un’ondata più ampia di incidenti di sicurezza nell’ecosistema dell’intelligenza artificiale e aggiunge pressione sui fornitori di inferenza per dimostrare che le piattaforme multi-tenant possono isolare i carichi di lavoro dei clienti. È probabile che le startup che valutano i fornitori di inferenza pongano domande più difficili sull'isolamento dei tenant, sull'igiene delle credenziali e sulle dipendenze cloud di terze parti: l'esatto percorso sfruttato qui.

Fireworks afferma che sta monitorando i suoi sistemi 24 ore su 24 e pubblicherà ulteriori aggiornamenti man mano che l'indagine procede. Ai clienti che hanno dubbi viene richiesto di rispondere alle e-mail di notifica dell'incidente o di contattare l'indirizzo di avviso di sicurezza dell'azienda.

L’incidente illustra anche come stanno maturando le norme sulla divulgazione per le società di intelligenza artificiale. Fireworks ha pubblicato il suo primo bollettino pochi giorni dopo l’intrusione iniziale all’inizio di ottobre, poi lo ha modificato due volte mentre la scientifica ha ampliato il quadro: una sequenza che i team di sicurezza riconosceranno dalle recenti violazioni dei software aziendali ma che rimane rara tra i fornitori di infrastrutture IA, molti dei quali non hanno mai gestito un incidente pubblico. La scelta di disabilitare le funzionalità del set di dati self-service lasciando in esecuzione il prodotto di inferenza principale suggerisce che l’esposizione era concentrata nei sistemi ausiliari piuttosto che nel percorso di servizio al cliente stesso.

---

Stai al passo con l'intelligenza artificiale

Ricevi le ultime notizie, analisi e scoperte sull'intelligenza artificiale, tutto in un unico posto.

Leggi altre notizie sull'AI →