Le classifiche dell'intelligenza artificiale raccontano una storia straordinariamente dettagliata sulla capacità dei modelli di scrivere codice, risolvere problemi di matematica e rispondere agli esami di livello universitario. Ciò che non ti dicono quasi mai è quanto bene i modelli svolgono il lavoro per cui la maggior parte degli americani è effettivamente pagata.
Un nuovo progetto di ricerca del mercato dei talenti dell’intelligenza artificiale Mercor mette un numero su questa lacuna. Secondo la Benchmark Map dell’azienda, pubblicata questa settimana, circa il 90% delle ore lavorative americane viene speso in attività con poca o nessuna copertura dai benchmark di intelligenza artificiale esistenti. Per maggiori informazioni su questa storia, consulta la nostra copertura dell'industria IA.
"Ciò rende molto difficile sapere quanto siano validi i modelli di intelligenza artificiale per il lavoro effettivamente svolto dagli americani", scrive l'azienda nei suoi risultati.
Contare quali benchmark mancano
Per costruire la mappa, Mercor ha compilato un indice di 29 parametri di riferimento selezionati per qualità e rilevanza economica, quindi ha mappato i loro suggerimenti rispetto al database occupazionale O*NET del governo statunitense: la tassonomia standard di 923 occupazioni e 18.797 compiti distinti che compongono la forza lavoro americana.
I numeri di copertura sono netti. Solo 208 delle 923 occupazioni O*NET hanno una copertura di riferimento e solo 924 delle 18.797 attività professionali sono rappresentate nell’intero indice.
La metodologia, documentata sul sito del progetto, si basa sull'intelligenza artificiale stessa: a seguito di una recente ricerca, un giudice LLM tagga ogni prompt di benchmark con i compiti ONET a cui corrisponde, con il tagging convalidato rispetto alle etichette di esperti umani sul sottoinsieme di benchmark APEX di Mercor. Un compito conta come svolto solo se il giudice lo associa ad almeno cinque suggerimenti dall'indice di 29 benchmark. Per tradurre la copertura in termini economici, Mercor ha combinato le sue stime con stime derivate da LLM recentemente pubblicate sulla quota di tempo di lavoro di ciascuna attività ONET.
La copertura segue il denaro
I divari non sono distribuiti casualmente. L’analisi di Mercor suggerisce che la comunità dell’intelligenza artificiale ha analizzato innanzitutto i mercati del lavoro più grandi: le occupazioni con i maggiori costi salariali totali, calcolati dalle stime salariali e occupazionali del Bureau of Labor Statistics.
La disaggregazione lavoro-famiglia mostra quanto sia disomogenea l'attenzione. Le professioni informatiche e matematiche, ambito principale della creazione di benchmark, sono le meglio coperte con 29 occupazioni su 36. Le operazioni commerciali e finanziarie seguono con 33 su 48. Ma il supporto amministrativo e amministrativo – una famiglia che dà lavoro a milioni – copre solo 21 occupazioni su 51, e ruoli dirigenziali 21 su 56.
Anche nelle professioni meglio coperte, la profondità è scarsa. Quando Mercor ha tentato di ottenere un punteggio ponderato ONET per quattro occupazioni ad alto valore di riferimento – investment banking, diritto, contabilità e ingegneria del software – ha scoperto che meno di un terzo delle attività ONET rilevanti per tali lavori avevano una copertura di benchmark sufficiente per essere incluse in un punteggio ponderato.
Perché gli angoli ciechi sono importanti
La scoperta arriva in un momento in cui i punteggi dei benchmark guidano le decisioni reali. Le aziende scelgono i livelli del modello in base alle valutazioni; i consigli di amministrazione vengono a conoscenza dei progressi del modello di frontiera in termini di balzi di riferimento; i politici citano le traiettorie delle capacità quando valutano la regolamentazione. Se il 90% dell’orario di lavoro resta al di fuori di quanto misurato dai benchmark, tutte queste decisioni si basano su un campione sbilanciato verso il lavoro d’ufficio, il tecnico e il mondo accademico.
Ci sono ragioni strutturali per cui i benchmark si raggruppano dove lo fanno. Le attività di ingegneria del software sono economiche da specificare, economiche da valutare automaticamente e facili da progettare per gli autori di benchmark, che per lo più scrivono software. Valutare il comportamento di un assistente medico al capezzale, il giudizio di un coordinatore logistico in presenza di vincoli mutevoli o il processo diagnostico di un elettricista è più difficile da standardizzare, più difficile da verificare a distanza e in molti casi impossibile da testare senza la presenza fisica.
Mercor, il cui core business abbina esperti di dominio con laboratori di intelligenza artificiale per attività di formazione e valutazione, ha un evidente interesse commerciale nel sottolineare che la copertura della valutazione è scarsa: l’azienda vende l’accesso esattamente agli esperti che potrebbero colmare tale lacuna. Ma il problema di misurazione sottostante è reale e sempre più riconosciuto in tutto il settore, e l’azienda ha pubblicato la sua metodologia e l’elenco completo dei benchmark per un esame approfondito.
L’azienda afferma che la sua Benchmark Map è un primo passo verso una risorsa continuamente aggiornata per comprendere le capacità dell’intelligenza artificiale in tutta l’economia, e sta lavorando per ottenere punteggi del modello ponderati O*NET che pesino equamente ciascuna attività professionale piuttosto che lasciare che le attività frequentemente confrontate con benchmark dominino la media.
Il decennio della misurazione
Ciò che accadrà dopo dipenderà dal fatto che i costruttori di benchmark seguano o meno la mappa economica. I dati Mercor indicano dove manca la copertura e, implicitamente, dove i nuovi parametri di riferimento avrebbero il maggior valore informativo. Le occupazioni con un’ampia occupazione, salari elevati e una copertura di riferimento pari a zero sono, in effetti, territorio di valutazione aperto.
Per ora, il punto pratico per chiunque conosca le notizie della classifica dell’intelligenza artificiale è un avvertimento: il profilo di benchmark di un modello descrive i suoi punti di forza nella fetta di economia che i benchmark coprono. Il restante 90% dell’orario di lavoro – il lavoro amministrativo, l’assistenza, il servizio sul campo, la gestione del reparto – rimane in gran parte un territorio non misurato, e le affermazioni secondo cui l’intelligenza artificiale lo sta trasformando attualmente si basano più su aneddoti che su prove.
Come afferma la struttura stessa dell'azienda, i benchmark si sono moltiplicati negli ultimi anni, ma la copertura del lavoro economicamente valido rimane limitata. La mappa rende visibile questa limitazione, tessera per tessera, occupazione per occupazione.
---
Rimani Aggiornato sull'IALe ultime notizie, analisi e scoperte sull'intelligenza artificiale — tutto in un posto.
Leggi altre notizie sull'IA →
