Un nuovo benchmark della società di sicurezza applicativa Semgrep ha prodotto un risultato inaspettato: un modello open-weight della cinese Zhipu AI ha sovraperformato Claude di Anthropic nel trovare reali difetti di sicurezza nel software. La scoperta alimenta il dibattito sul fatto se l’intelligenza artificiale più potente sia necessariamente quella più costosa o quella più limitata.

Con il potente modello Mythos di Anthropic bloccato dietro un divieto di esportazione negli Stati Uniti, i team di sicurezza alla ricerca di un'alternativa accessibile si stanno rivolgendo a opzioni open-weight come GLM 5.2 per la più recente copertura del settore dell'intelligenza artificiale. Il test di Semgrep, pubblicato il 22 giugno, suggerisce che la caccia potrebbe dare i suoi frutti prima del previsto.

Cosa ha testato Semgrep

Semgrep ha valutato una serie di modelli open-weight e di frontiera sul suo benchmark interno di rilevamento IDOR. Gli IDOR (riferimenti diretti a oggetti non sicuri) sono bug di controllo dell'accesso che consentono a un utente di raggiungere i dati di un altro utente. Sono notoriamente difficili da individuare con l’analisi statica tradizionale perché il difetto è logico piuttosto che sintattico: il codice è tecnicamente valido, semplicemente manca un controllo di autorizzazione.

L’azienda ha perfezionato un flusso di lavoro per individuare queste vulnerabilità combinando il suo motore basato su regole con il ragionamento dell’intelligenza artificiale. Per isolare la quantità di prestazioni che deriva dal modello stesso rispetto all'impalcatura attorno ad esso, i ricercatori hanno eseguito una serie di popolari modelli a peso aperto attraverso un cablaggio minimo: una semplice configurazione Pydantic utilizzando lo stesso prompt IDOR fornito a ogni modello, senza scoperta di endpoint e senza navigazione guidata. Il prompt offriva solo una strategia di ricerca di base e alcuni suggerimenti su come appare un IDOR: poco più di "ecco il codice, trova i bug", ma molto meno di quello che ricevono gli agenti di codifica di frontiera quando vengono eseguiti all'interno dell'intera pipeline di Semgrep.

Gli IDOR rappresentano un problema persistente per i team di sicurezza delle applicazioni perché non riescono a superare gli scanner convenzionali. Uno strumento basato su regole può segnalare un controllo di input mancante, ma capire se un endpoint specifico espone effettivamente i dati di un altro utente richiede un ragionamento sulla logica di business dell'applicazione, esattamente il tipo di giudizio contestuale in cui i modelli linguistici di grandi dimensioni sono sempre più bravi.

GLM 5.2 prende il comando

Il pezzo forte è stato GLM 5.2, il modello a peso aperto di Zhipu AI. Eseguendo nient'altro che un semplice prompt, ha ottenuto un 39% F1 nel rilevamento IDOR, battendo il 32% di Claude Code di sette punti pieni. Secondo Semgrep, il modello open-weight ha superato anche Claude Opus 4.8 nel compito, diventando così la più potente opzione non di frontiera testata.

Gli aspetti economici erano altrettanto sorprendenti. Al prezzo di GLM 5.2, l'esecuzione costa circa 0,17 dollari per ogni vulnerabilità rilevata. Per le organizzazioni che potrebbero scansionare migliaia di endpoint, Semgrep ha osservato che il costo per bug è spesso il fattore decisivo per determinare se una tecnica di rilevamento è praticabile su larga scala.

Altri contendenti a peso aperto sono rimasti più indietro. MiniMax M3 ha ottenuto il 23% in F1 e Kimi K2.7 Code è arrivato al 22%, entrambi ben al di sotto di Claude Code. Semgrep ha caratterizzato GLM 5.2 come una chiara eccezione piuttosto che come un risultato rappresentativo per la categoria a peso aperto.

L'imbracatura è ancora importante

Nonostante la vittoria a peso aperto nella categoria raw-prompt, il gasdotto appositamente costruito da Semgrep è rimasto il leader assoluto. La configurazione multimodale dell'azienda, che combina il ragionamento basato sull'intelligenza artificiale con il rilevamento basato su regole e l'enumerazione strutturata degli endpoint, ha raggiunto dal 53% al 61% F1, a seconda della configurazione. Questo divario sottolinea la domanda iniziale dei ricercatori: quanta parte delle prestazioni di rilevamento delle vulnerabilità dipende dal modello e quanto dall'architettura attorno ad esso?

La risposta sembra essere "entrambi, ma più di quanto si pensi è l'imbracatura". GLM 5.2 ha dimostrato che un modello capace può svolgere un lavoro significativo con un supporto minimo, ma non è ancora in grado di eguagliare un sistema progettato appositamente per il problema.

Il team Semgrep, che comprendeva i ricercatori Paxton-Fear, Seth Jaksik, Brenden Noblitt ed Erik Buchanan, ha affermato di essere "veramente scioccato" dal fatto che un modello open-weight che esegue un semplice prompt abbia superato un agente di codifica di frontiera in un compito di sicurezza impegnativo per il ragionamento.

Miti in casa

Il benchmark ha un peso aggiuntivo rispetto all’attuale contesto geopolitico. Il titolo del post sul blog - "We Have Mythos at Home" - è un chiaro riferimento al fatto che il modello Mythos incentrato sulla sicurezza informatica di Anthropic non è effettivamente disponibile in gran parte del mondo. Dopo che l’amministrazione Trump ha vietato ai cittadini non statunitensi di utilizzare Mythos e il suo fratello limitato Fable 5, i team di sicurezza globali hanno perso l’accesso a quella che era ampiamente considerata l’intelligenza artificiale più capace per il lavoro di sicurezza offensivo e difensivo.

In questo vuoto, i modelli accessibili a peso aperto stanno colmando il divario. Il fatto che GLM 5.2 – liberamente scaricabile e implementabile ovunque – possa già eguagliare o battere i modelli proprietari di frontiera su specifici compiti di sicurezza suggerisce che l’effetto dissuasivo del divieto di esportazione potrebbe essere inferiore al previsto. Se il miglior modello “senza restrizioni” continua a migliorare, il valore strategico dell’accaparramento delle capacità di frontiera diminuisce.

Per ora, il risultato è limitato: un unico benchmark su un’unica classe di vulnerabilità. Ma è un segnale che la frontiera del peso aperto si sta chiudendo più velocemente di quanto molti pensassero e che l’accessibilità – e non la pura capacità – potrebbe diventare la variabile determinante nel panorama della sicurezza dell’IA.

La scoperta solleva anche domande scomode per i laboratori di frontiera. Se un modello disponibile gratuitamente può già eguagliare i sistemi proprietari sui compiti di ragionamento sulla sicurezza, il fossato competitivo attorno ai modelli chiusi si restringe, in particolare quando i controlli sulle esportazioni rendono quei modelli chiusi inaccessibili ad aree del mercato globale. Gli sviluppatori open-weight, liberi da restrizioni di utilizzo, possono eseguire iterazioni e distribuzioni ovunque contemporaneamente.

Stai al passo con l'intelligenza artificiale

Il divario tra l’intelligenza artificiale di frontiera e quella a peso aperto si sta riducendo tra le [ultime notizie sull’intelligenza artificiale] (https://aibuzzwire.news) e la ricerca che rimodella la sicurezza, le infrastrutture e le politiche.

Leggi altre notizie sull'AI →