Gli agenti IA ora completano il 16% dei lavori freelance con qualità professionale, secondo i risultati di benchmark

Secondo gli ultimi risultati del Remote Labour Index, gli agenti AI possono ora completare il 16% dei lavori freelance reali a un livello di qualità che i clienti paganti accetterebbero: più che quadruplicato rispetto al tasso registrato solo otto mesi fa. La scoperta fornisce una delle misure più concrete finora effettuate sulla rapidità con cui i sistemi di intelligenza artificiale autonomi stanno invadendo il lavoro creativo e tecnico professionale.

Il Remote Labour Index (RLI), sviluppato dal Center for AI Safety in collaborazione con Scale Labs, tiene traccia della frequenza con cui gli agenti AI riescono a portare a termine progetti freelance di valore commerciale con qualità professionale. Il benchmark copre campi quali progettazione 3D e CAD, architettura, progettazione grafica, video e animazione, produzione audio, analisi dei dati e sviluppo di applicazioni web. Valuta 240 progetti per un valore complessivo di $ 144.000, provenienti da 358 liberi professionisti verificati. I valutatori umani valutano ogni risultato rispetto a un gold standard creato da un professionista retribuito, offrendo un'istantanea empirica delle capacità di crescita del [settore dell'intelligenza artificiale] (https://aibuzzwire.news).

I numeri: una frontiera più che quadruplicata

Quando il benchmark è stato lanciato per la prima volta, il miglior agente AI automatizzava solo il 2,5% dei progetti. Secondo gli ultimi risultati, il modello Fable 5 di Anthropic raggiunge ora il 16,1%, il punteggio più alto mai registrato nell'indice. Questo è circa il doppio dell'8,3% di Opus 4.8 e ben superiore al 6,3% di GPT-5.5.

Tutti e tre i modelli di frontiera battono ogni sistema precedentemente testato. Il leader precedente, Opus 4.6 in esecuzione sul framework Claude Cowork, si attestava al 4,17%. Secondo gli autori del benchmark, la frontiera della capacità di automazione è più che quadruplicata in meno di otto mesi.

Tuttavia, i risultati non cambiano di pari passo con le date di rilascio. Nella classifica completa di Scale Labs, il nuovo Gemini 3 Pro si colloca in fondo con appena l'1,25%, dietro a sistemi molto più vecchi. Ciò suggerisce che la capacità del modello grezzo non si traduce automaticamente nel tipo di capacità di utilizzo degli strumenti e di ragionamento necessarie per compiti professionali complessi.

Come funziona il benchmark

Per consentire ai modelli di dimostrare la loro piena capacità, il team li esegue negli stessi strumenti di sviluppo che gli ingegneri utilizzano quotidianamente, inclusi Claude Code e Codex CLI. Questi ambienti sono stati estesi con la possibilità di utilizzare direttamente programmi grafici.

Ogni agente AI funziona all'interno di una macchina Linux virtuale caricata con oltre 30 applicazioni professionali, tra cui Blender per la modellazione 3D, GIMP per l'editing di immagini e Audacity per la produzione audio. Ai progetti vengono concesse fino a 24 ore di tempo di elaborazione, molto più a lungo di una tipica interazione con un chatbot.

La configurazione utilizza anche un ciclo critico: un secondo agente AI esamina l’output in modo critico come farebbe un cliente esigente, e il primo agente rivede quindi il suo lavoro sulla base di quel feedback. Ciò rispecchia il processo iterativo seguito dai liberi professionisti umani quando perfezionano i risultati finali.

Dove l'intelligenza artificiale è ancora insufficiente

Nonostante i rapidi progressi, gli agenti IA non riescono ancora a raggiungere la qualità professionale nella stragrande maggioranza dei progetti. Il post sul blog del benchmark evidenzia esempi specifici in cui anche il risultato del modello di punta non verrebbe considerato un lavoro finito.

In un'attività di progettazione di anelli, Fable 5 ha prodotto un risultato chiaramente migliore rispetto ai precedenti tentativi di intelligenza artificiale, ma sembrava comunque poco professionale a un esame più attento. In un progetto di architettura, GPT-5.5 ha simulato un rendering accattivante utilizzando un generatore di immagini mentre il modello 3D sottostante reale rimaneva imperfetto: una scorciatoia che un cliente pagante avrebbe scoperto solo aprendo i file sorgente.

Uno dei compiti più complessi del benchmark richiede all'agente di creare una planimetria quotata, opzioni di disposizione dei mobili e rendering fotorealistici del bagno da una pianta catastale scansionata, foto del sito e misurazioni. Questo flusso di lavoro in più fasi, che richiede sia precisione tecnica che giudizio creativo, rimane una sfida significativa per i sistemi attuali.

I giudici dell'IA valutano troppo generosamente

Il gruppo di ricerca ha anche testato se la costosa valutazione umana potesse essere sostituita da giudici basati sull’intelligenza artificiale. La risposta è stata definitiva: i valutatori dell’intelligenza artificiale hanno valutato i nuovi modelli in modo troppo generoso. Per GPT-5.5, il punteggio del giudice AI era quasi tre volte troppo alto. Per l'Opus 4.8 era circa due volte e mezzo più alto.

Sebbene il giudice automatizzato abbia ottenuto correttamente l'ordine di classifica generale, i numeri effettivi sono stati notevolmente gonfiati. Il Center for AI Safety ha spiegato il ragionamento: per giudicare equamente il lavoro consegnato, un valutatore deve aprire i file nel software professionale corretto, utilizzare tale software correttamente ed esprimere un giudizio come farebbe un cliente pagante. Questo tipo di utilizzo pratico del software è esattamente ciò con cui gli attuali agenti di intelligenza artificiale lottano maggiormente.

L’ironia è istruttiva: un giudice dell’IA si imbatte negli stessi limiti dei lavoratori dell’IA che dovrebbe valutare. Il rendering falso di GPT-5.5 è un esempio calzante: per individuare l'inganno è necessario aprire il modello 3D e ispezionare la geometria effettiva, un compito che il giudice dell'IA non può eseguire in modo affidabile.

Avvertenza: restrizioni governative

Un avvertimento importante vale per il punteggio principale di Fable 5. Solo 218 dei 240 progetti potevano essere valutati prima che il governo degli Stati Uniti limitasse l’accesso al modello. Anche nello scenario peggiore, in cui Fable 5 fallisse ogni progetto rimanente, il suo tasso di automazione sarebbe comunque del 14,6%, superiore a qualsiasi altro modello testato.

Le restrizioni governative, legate alle preoccupazioni di sicurezza nazionale sui modelli di classe Mythos, hanno limitato la finestra di valutazione ma non hanno minato la scoperta fondamentale: gli agenti di intelligenza artificiale si stanno rapidamente avvicinando al punto in cui possono gestire una quota significativa di lavoro professionale freelance.

Per i liberi professionisti, la tendenza è deludente ma non ancora catastrofica. L’intelligenza artificiale continua a fallire nell’84% dei progetti e gli esempi del benchmark mostrano che anche i risultati di successo spesso richiedono una revisione professionale. Ma con il tasso di automazione più che quadruplicato in meno di un anno, la traiettoria è chiara. La questione non è più se gli agenti AI competeranno per il lavoro freelance, ma quanto velocemente colmeranno il divario rimanente.

Stai al passo con l'intelligenza artificiale

Ricevi le ultime notizie, analisi e scoperte sull'intelligenza artificiale, tutto in un unico posto.

Leggi altre notizie sull'AI →