Un nuovo benchmark chiamato Real-SWE sta mettendo alla prova il modo in cui il settore dell’intelligenza artificiale misura la capacità di codifica, e i primi risultati sono umilianti per i laboratori di frontiera. Fable 5.1 di Anthropic, eseguito all'interno del sistema Claude Code, guida la classifica con un tasso di risoluzione del 38,8% su attività tratte da codebase aziendali private e reali. Nessun modello testato cancella il 40%.
Il benchmark, pubblicato questo mese da Specific Labs, valuta i modelli di intelligenza artificiale di frontiera su basi di codice di produzione privata che il team ha concesso in licenza da aziende reali. I suoi creatori sostengono che i compiti generati dagli esperti o sintetici, per quanto ben progettati, non sono il lavoro letterale che effettivamente svolgono gli ingegneri delle aziende reali. Per maggiori informazioni su questa storia, consulta la nostra copertura dell'industria IA.
Perché i codebase privati cambiano l'immagine
Real-SWE differisce da benchmark consolidati come SWE-bench su due assi, secondo i suoi autori: l'artefatto di codifica sottostante e la specificità dell'istruzione. Ogni attività proviene da un sistema proprietario il cui codice e soluzioni non sono disponibili sull'Internet pubblica, il che significa che gli agenti non possono fare affidamento su risposte memorizzate estratte da archivi pubblici.
I compiti comportano anche conseguenze aziendali. Le attività di esempio del benchmark includono la corretta fatturazione, il calcolo delle tasse e la migrazione dei clienti, cambiamenti che influiscono sul modo in cui un'azienda gestisce, spesso su più servizi. Ogni azienda ha le proprie convenzioni e modalità di scrittura del codice e gli agenti devono comprendere tali norme e apportare modifiche che funzionino con ciò che è già esistente.
"Un agente di codifica può effettivamente svolgere il lavoro di un ingegnere del software nel mondo reale?" chiede l'introduzione del benchmark. La classifica suggerisce che la risposta, per ora, è: solo circa un terzo delle volte nella migliore delle ipotesi.
La classifica completa
Specific Labs ha valutato otto combinazioni modello-e-cablaggio di frontiera, misurando il tasso di risoluzione come pass@1 in media su otto esecuzioni indipendenti per attività, con intervalli di confidenza del 95%:
1. Favola 5.1 (Codice Claude) — 38,8%
2. GPT-6 Astra (Codice CLI) — 33,8%
3. Gemini 3.8 Flash (Gemini CLI) — 31,2%
4. GLM 5.3 (Codice Claude) — 28,8%
5. (pareggio) Grok 4.6 (Grok Build) — 23,8%
5. (pareggio) Muse Spark 1.3 (Muse Code) — 23,8%
7. Kimi K3 (Codice Kimi) — 18,8%
8. GPT-5.6 Sol (Codice CLI) — 16,2%
I risultati sono stati ampiamente discussi su Hacker News durante il fine settimana, dove il benchmark ha raccolto diverse centinaia di voti positivi e un vivace dibattito sulla questione se la valutazione della base di codice privata sia il giusto metro per il progresso dell'agente.
Uno spread ristretto ma significativo al vertice
Il divario tra i primi quattro sistemi è notevole per ciò che dice sull’attuale panorama competitivo. Il vantaggio di cinque punti di Fable 5.1 rispetto a GPT-6 Astra di OpenAI è significativo in un benchmark in cui ogni attività è un vero problema di produzione. Il terzo posto di Gemini 3.8 Flash è sorprendente, dal momento che il modello è posizionato come un cavallo di battaglia veloce ed economico piuttosto che come un sistema di ragionamento di punta. Il GLM 5.3 di Z.ai, valutato tramite Claude Code, che si colloca a cinque punti dal leader, sottolinea quanto siano diventati competitivi i modelli a peso aperto nel lavoro pratico di ingegneria.
Altrettanto significativo è lo spread sul fondo. GPT-5.6 Sol, una versione precedente di OpenAI, risolve meno della metà delle attività rispetto a Fable 5.1: un promemoria di quanto velocemente la frontiera si è spostata e di quanto ripido possa essere il calo solo una generazione di modelli indietro.
Le pettorine contano tanto quanto i modelli
Una delle scelte metodologiche del benchmark è attirare l'attenzione: invece di valutare i modelli isolatamente, Real-SWE utilizza cablaggi nativi - Claude Code, Codex CLI, Gemini CLI, Grok Build - per riflettere il modo in cui gli ingegneri aziendali lavorano effettivamente nella pratica. La classifica classifica esplicitamente le combinazioni modello-e-cablaggio, riconoscendo che impalcature, accesso agli strumenti e cicli di iterazione sono ora inseparabili dalla capacità del modello nelle implementazioni reali.
Questo quadro è importante per le imprese che scelgono i sistemi. Lo stesso modello può funzionare in modo molto diverso a seconda del cablaggio dell'agente che lo avvolge e gli acquirenti che valutano gli assistenti di codifica su numeri di benchmark pubblici potrebbero ottenere un'immagine distorta di come si comporteranno tali sistemi sulle proprie basi di codice.
Cosa significa per il settore
I benchmark sono stati ripetutamente accusati di saturazione, con modelli di frontiera che hanno ottenuto punteggi quasi perfetti nei test pubblici che si riversano nei dati di addestramento. Il design di Real-SWE cerca di contrastare entrambi i problemi contemporaneamente: il codice è privato e concesso in licenza, le attività sono i veri prodotti del lavoro dei team di ingegneri attivi e le istruzioni riflettono la caotica specificità dei ticket reali piuttosto che le precise dichiarazioni dei problemi.
Il takeaway che fa riflettere è il livello assoluto. Anche il sistema migliore risolve meno di quattro attività aziendali reali su dieci al primo tentativo, con una media di otto esecuzioni. Nonostante tutti i progressi nella codifica ad agenti, il benchmark suggerisce che l’ingegneria del software autonomo su sistemi di produzione reali rimane un’attività supervisionata, in cui gli ingegneri umani revisionano, reindirizzano e riparano molto più spesso di quanto implicano le demo dei fornitori.
Per le aziende che scelgono tra gli assistenti di codifica, il benchmark offre una lista di controllo pratica: preferire sistemi valutati su codice privato, insistere su intervalli di confidenza piuttosto che su numeri di titoli a esecuzione singola e valutare la qualità del cablaggio tanto quanto la capacità del modello grezzo. La prima classifica di Real-SWE non sarà l'ultima parola, ma è la risposta più diretta alla domanda che ogni leader di ingegneria si pone sulla codifica ad agenti.
Per ulteriori informazioni sugli agenti di codifica, sui rilasci dei modelli e sulla ricerca che li modella, segui le ultime notizie sull'intelligenza artificiale mentre arrivano i prossimi risultati dei benchmark.
---
Rimani Aggiornato sull'IALe ultime notizie, analisi e scoperte sull'intelligenza artificiale — tutto in un posto.
Leggi altre notizie sull'IA →
