Secondo i nuovi risultati di benchmark della società di valutazione Vals riportati da WIRED, un modello cinese open-weight che chiunque può scaricare ha quasi eguagliato il modello informatico più capace di OpenAI nell'entrare nelle reti aziendali simulate.

Nei test CyberOffense di Vals, GPT-6 Sol di OpenAI, che l'azienda offre solo attraverso il suo programma informatico Daybreak ad accesso limitato, ha completato circa l'81% degli obiettivi. DeepSeek V4.1 Flash, una versione gratuita a pesi aperti, ha completato circa il 73% degli stessi obiettivi, funzionando come agente completamente autonomo. Altri tracker collocano il numero principale di DeepSeek al 72,8%.

"Le capacità informatiche che erano limitate all'intelligenza artificiale con accesso sicuro sono ora disponibili a chiunque", ha scritto Vals nei suoi risultati. Il ricercatore di Vals, Nikil Ravi, ha dichiarato a WIRED che i migliori modelli rinchiusi nei laboratori di intelligenza artificiale stanno "iniziando a essere abbinati a modelli aperti che chiunque può scaricare".

Come Vals ha eseguito il test

Il benchmark CyberOffense di Vals utilizza due gamme cyber simulate. La prima, chiamata Nova, è una rete Windows con 21 obiettivi che si estende su diversi domini Active Directory. Il secondo, Lighthouse, contiene 31 obiettivi in ​​due società, in cui l'agente deve prima prendere il controllo di una rete e poi utilizzare le credenziali e le informazioni trovate lì per entrare nella seconda: uno scenario che rispecchia le intrusioni a più fasi del mondo reale.

Ogni modello veniva eseguito nell'agente Pi open source su una macchina Kali Linux isolata, con un limite di tempo di 48 ore e un budget di 500 milioni di token. È importante sottolineare che Vals accreditava un obiettivo solo quando apparivano indicatori nascosti nell'output del comando, mai sulla base dell'affermazione del modello stesso di averlo raggiunto.

I numeri e il divario dei costi

DeepSeek ha registrato una media di 16,3 dei 21 obiettivi di Nova, superando di fatto i 15,7 di Daybreak sulla prima rete. Daybreak è andato avanti nella gamma più difficile del Faro, completando 27 dei 31 obiettivi contro i 21 di DeepSeek.

La differenza più evidente era il costo. WIRED ha fissato il prezzo di un attacco completo a circa $ 2-3 $ per DeepSeek, contro $ 17-46 $ per GPT-6 Sol. Nello specifico, sulla gamma Nova, DeepSeek ha completato il suo lavoro per meno di 3 dollari a corsa contro i circa 22 dollari di Daybreak.

Vals ha anche osservato che DeepSeek non ha completato nulla nei suoi primi 25 milioni di token e ha fatto la maggior parte dei progressi dopo 100 milioni: un profilo di ritmo che suggerisce valutazioni brevi e limitate dal calcolo che sottostimano sistematicamente ciò che i modelli aperti a basso costo possono fare dato il tempo e il budget.

Come se la sono cavata gli altri modelli

DeepSeek non ha guidato incontrastato il campo dei pesi aperti, ma nessun altro l’ha colto. Kimi K3.1 Pro, Meta's Wonder e Grok 4.7 di xAI sono tutti finiti dietro DeepSeek nel confronto tra sette modelli di Vals.

Il GLM 5.3 Flash di Z.ai è arrivato ultimo, completando cinque obiettivi su ciascuna distanza. Vals lo ha definito "il vicolo cieco più evidente" del gruppo: su un intervallo, il modello ha trascorso circa 36 ore, in gran parte esaminando un lavoro in background che non è mai tornato.

Altri valutatori valutano il modello GLM-5.3 completo in modo notevolmente migliore per quanto riguarda le attività informatiche. La società di test Irregular ha scoperto di aver completato 3 dei 13 scenari di attacco multi-fase – il miglior risultato registrato da un modello apertamente disponibile – e il NIST lo ha definito il modello informatico a peso aperto più potente pubblicato fino ad oggi, stimando che sia circa quattro mesi indietro rispetto ai principali sistemi statunitensi. Anthropic ha dichiarato separatamente a Reuters che GLM-5.3 ha creato exploit funzionanti nel 12% dei tentativi, contro il 14% del suo Claude Mythos. Vals nota che si tratta di test diversi i cui punteggi non possono essere confrontati direttamente con i risultati di CyberOffense.

Perché è importante

I risultati acuiscono un dibattito in corso sulle barriere di sicurezza che circondano le capacità informatiche di frontiera dell’IA. Il programma Daybreak di OpenAI esiste specificamente per mantenere i modelli informatici ad alta capacità dietro controlli di identità e accesso limitato, sulla base della teoria che le capacità informatiche offensive non dovrebbero essere distribuite liberamente. Un download gratuito che segue un modello limitato solo di pochi punti, pur costando un ordine di grandezza inferiore per operazione, complica notevolmente il quadro.

È importante anche per i difensori. I team di sicurezza che pianificano contro gli aggressori assistiti dall’intelligenza artificiale non possono più presumere che una seria capacità offensiva autonoma richieda l’accesso a modelli limitati di un laboratorio o un budget elevato. Come suggerisce la stessa definizione di Vals, il livello di capacità sta crescendo più velocemente di quanto i controlli di accesso possano contenerlo.

OpenAI non ha commentato il confronto nei rapporti. DeepSeek non ha risposto immediatamente alle richieste di commento.

Una sfida sulla metodologia di test

Al di là dei punteggi principali, i risultati contengono una lezione su come vengono misurate le capacità informatiche dell’IA. Le scelte progettuali di Vals – lunghe finestre di 48 ore, budget di mezzo miliardo di token e verifica tramite indicatori nascosti piuttosto che successi autodichiarati – sono sempre più viste come necessarie per valutare equamente i sistemi ad agenti. Esecuzioni di test più brevi ed economiche avrebbero probabilmente ottenuto un punteggio molto più basso per DeepSeek, dato il suo avvio lento, che mascherava le capacità emerse con più calcoli.

Ciò ha conseguenze pratiche per la politica. Le restrizioni di accesso come il programma Daybreak di OpenAI sono calibrate rispetto alle capacità misurate e, se i metodi di valutazione sottostimano sistematicamente ciò che i modelli aperti possono fare, i guardrail potrebbero restare indietro rispetto alla realtà. La classifica CyberOffense di Vals, che l'azienda afferma che continuerà ad aggiornare, diventerà probabilmente uno dei tabelloni segnapunti più seguiti nella comunità della sicurezza AI.

Per ora, il messaggio che emerge dai dati è schietto: il divario tra ciò che i laboratori custodiscono dietro programmi limitati e ciò che chiunque può scaricare si sta riducendo al punto che presto potrebbe essere misurato in mesi anziché in generazioni di modelli.

Stai al passo con l'intelligenza artificiale

Tieni traccia di ogni rilascio di modello, combattimento benchmark e salto di capacità in un unico posto su AI Buzz Wire.

Leggi altre notizie sull'AI →