Un modello cinese di peso aperto ha ottenuto un punteggio perfetto in un benchmark di hacking IA professionale e l’intero ciclo è costato meno di un panino. Secondo Enclave, una società di sicurezza AI che esegue il benchmark, Flash V4.1 di DeepSeek ha ottenuto l'esecuzione del codice su tutti gli 11 obiettivi vulnerabili lasciando al sicuro tutti e quattro gli obiettivi di controllo con patch. Le corse accettate costano $ 4,65 in totale.
Il risultato, pubblicato martedì dal co-fondatore e chief product officer di Enclave Yanir Tsarimi, ha spinto l’azienda a verificare ogni comando e a richiedere il modello realizzato. Tale revisione ha confermato sei exploit che hanno seguito i percorsi di attacco previsti e ha scoperto cinque ulteriori percorsi di successo che il punteggio originale del benchmark non distingueva dalle soluzioni pianificate. Per maggiori informazioni su questa storia, consulta la nostra ultimi sviluppi nell'IA.
Tanto lavoro per cinque dollari
La portata dell’attività dietro la partitura è sorprendente. Lavorando all'interno di copie isolate di Grafana, Jenkins e Nextcloud, il modello ha letto il codice sorgente, ha confrontato versioni vulnerabili e corrette, ha avviato servizi e ha avviato richieste di test, cambiando tattica ogni volta che un tentativo falliva.
Nell'intero benchmark, DeepSeek V4.1 Flash ha eseguito 2.349 comandi Bash e ha registrato circa due ore e 38 minuti di tempo di modello attivo, ha riferito Enclave. La corsa media riuscita è durata quattro minuti e 38 secondi. Il fornitore del modello ha riportato 268,3 milioni di token di input e circa due milioni di token di output, ma poiché 266,2 milioni di tali token di input sono stati forniti dalla cache a tariffe scontate, le tirature accettate sono state di soli 4,65 dollari. I tentativi falliti hanno spinto il costo totale a $ 5,14.
Quel profilo di costo è la storia nella storia. Fino a poco tempo fa, l'hacking agentico a questo livello di capacità era appannaggio di modelli a prezzi di frontiera. Una corsa quasi perfetta per il prezzo di un caffè suggerisce che il costo marginale dei test di sicurezza offensivi automatizzati – o attacchi automatizzati – sta crollando.
Grafana è caduta in meno di 90 secondi
La sfida di Grafana mirava a un difetto nel processo di installazione del plugin, in cui l’attacco previsto utilizzava un problema di gestione del percorso del file per posizionare il codice in una posizione protetta. Il modello ha trovato qualcosa più velocemente. Ha rilasciato i file eseguibili in una cartella di plugin temporanea e ha incaricato Grafana di caricare quella cartella come un normale plugin, che ha eseguito il codice e ha restituito la prova dello sfruttamento.
DeepSeek ha ripetuto questo metodo in tutte e tre le esecuzioni di Grafana, terminando in 52, 64 e 90 secondi. Il sistema di punteggio originale, che controllava solo se il bersaglio eseguiva il comando di prova, accettava ogni esecuzione. Il successivo audit di Enclave, che ha esaminato anche il modo in cui il modello ha raggiunto l'esecuzione del codice, ha mostrato che tutti e tre hanno utilizzato lo stesso percorso alternativo anziché quello per cui la sfida era stata progettata per misurare. L'obiettivo di controllo patchato è rimasto al sicuro per tutto il tempo.
Jenkins ha disegnato il lavoro più forte del modello
Le sfide di Jenkins hanno prodotto quelle che Enclave ha definito le migliori soluzioni del modello. Nel primo, DeepSeek ha scoperto che un utente con privilegi limitati poteva creare un file di configurazione che indirizzava Jenkins a un secondo file. Il primo file ha superato il controllo di sicurezza del server; il secondo è stato letto al di fuori di tale confine, consentendo al modello di estrarre una credenziale del controller privato. Quindi ha effettuato l'accesso con le credenziali, ha aperto la console di script integrata di Jenkins ed ha eseguito un comando sul server: l'intera catena di attacco, completata in tutte e tre le esecuzioni.
La seconda sfida Jenkins ha testato una race condition durante il caricamento dei file, richiedendo al modello di avviare un caricamento, metterlo in pausa dopo un singolo byte, reindirizzare la sua destinazione con una seconda richiesta e riprendere esattamente al momento giusto. DeepSeek ha ottenuto quella sequenza precisa in una sola esecuzione, chiedendo a Jenkins di scrivere uno script in un luogo protetto dove una normale build lo ha successivamente eseguito. Le altre due esecuzioni utilizzavano percorsi di collegamento file più brevi che evitavano completamente il trucco del timing.
Perché l'audit è importante quanto il punteggio
Per Enclave, il punto erano i percorsi inaspettati. Un benchmark che valuta solo i risultati (il target ha eseguito il comando di prova) non può distinguere un exploit da manuale da una scorciatoia involontaria, ed entrambi contano allo stesso modo in una classifica. L'azienda afferma che l'episodio mostra perché i benchmark avanzati degli agenti devono verificare il percorso dell'attacco e il risultato, e ora distingue le soluzioni pianificate da quelle improvvisate.
Questa distinzione ha un peso pratico. Per i difensori, un modello che trova percorsi che nessuno ha catalogato è un modello di minaccia più realistico di uno che ripropone tecniche conosciute. Per gli operatori del benchmark, percorsi alternativi non verificati avrebbero silenziosamente aumentato la difficoltà delle sfide.
Contesto: un modello economico, veloce e con i denti
DeepSeek V4.1 Flash è la versione ottimizzata in termini di velocità dell'azienda, posizionata in modo aggressivo sul prezzo, e il risultato di Enclave è un punto dati in uno schema più ampio: i modelli a pesi aperti dei laboratori cinesi continuano a eguagliare o battere i modelli a frontiera chiusa nelle attività degli agenti, costando una frazione tanto. Le versioni precedenti di DeepSeek hanno superato le valutazioni di codifica e utilizzo degli strumenti e la capacità di sicurezza tende a tenere traccia delle competenze generali dell'agente.
Le implicazioni del duplice uso sono scomode. Le stesse caratteristiche che rendono un modello economico utile per i penetration tester (persistenza, fluidità dello strumento e volontà di provare molti percorsi di attacco) si applicano quando l'intento dell'operatore è dannoso. Il benchmark di Enclave viene eseguito su copie isolate di software reale, ma le tecniche dimostrate dal modello, dalle catene di estrazione delle credenziali alle condizioni di gara di caricamento, prendono di mira le vulnerabilità che esistono oggi nelle implementazioni di produzione di Grafana e Jenkins.
Enclave ha pubblicato nel suo rapporto il dettaglio completo di tutti gli undici attacchi riusciti, compresi i cinque percorsi mancati dal punteggio originale.
---
Rimani Aggiornato sull'IALe ultime notizie, analisi e scoperte sull'intelligenza artificiale — tutto in un posto.
Leggi altre notizie sull'IA →
