Clasamentele AI spun o poveste remarcabil de detaliată despre cât de bine modelele scriu cod, rezolvă probleme de matematică și răspund la examenele de absolvent. Ceea ce nu vă spun aproape niciodată este cât de bine îndeplinesc modelele munca pentru care sunt de fapt plătiți majoritatea americanilor.

Un nou proiect de cercetare de la piața de talente AI Mercor pune un număr pe acest decalaj. Potrivit Benchmark Map a companiei, publicată săptămâna aceasta, aproximativ 90% din orele de lucru americane sunt cheltuite pe sarcini cu o acoperire redusă sau deloc de la benchmark-urile existente de AI. For more context on this story, see our ongoing AI news.

„Acest lucru face foarte greu de știut cât de bune sunt modelele AI la locul de muncă pe care o fac americanii”, scrie compania în concluziile sale.

Numărând ceea ce rata de referință

Pentru a construi harta, Mercor a compilat un index de 29 de repere selectate pentru calitate și relevanță economică, apoi și-a mapat indicațiile cu baza de date ocupațională O*NET a guvernului SUA - taxonomia standard a 923 de ocupații și 18.797 de sarcini distincte care alcătuiesc forța de muncă americană.

Numerele de acoperire sunt stricte. Doar 208 din 923 de ocupații O*NET au o acoperire de referință și doar 924 din 18.797 de sarcini ocupaționale sunt reprezentate în întregul indice.

Metodologia, documentată pe site-ul proiectului, se bazează pe inteligența artificială în sine: în urma cercetărilor recente, un judecător LLM etichetează fiecare prompt de referință cu sarcinile ONET cărora le corespunde, cu etichetarea validată față de etichetele experților umani din subsetul de referință APEX al Mercor. O sarcină este considerată acoperită numai dacă judecătorul o mapează la cel puțin cinci solicitări din indexul de 29 de referință. Pentru a traduce acoperirea în termeni economici, Mercor și-a combinat estimările cu estimările obținute recent din LLM ale cotei de timp de lucru a fiecărei sarcini ONET.

Acoperirea urmează banii

Golurile nu sunt distribuite aleatoriu. Analiza Mercor sugerează că comunitatea AI a evaluat mai întâi cele mai mari piețe de muncă – ocupațiile cu cele mai mari cheltuieli salariale totale, calculate din estimările privind salariile și ocuparea forței de muncă ale Biroului de Statistică a Muncii.

Defalcarea loc de muncă-familie arată cât de neuniformă este atenția. Ocupațiile de calculator și matematică, terenul de bază al creării de repere, sunt cele mai bine acoperite la 29 din 36 de ocupații. Operațiunile de afaceri și financiare urmează la 33 din 48. Dar suportul de birou și administrativ - o familie care are milioane de angajați - are doar 21 din 51 de ocupații acoperite, iar rolurile de conducere 21 din 56.

Chiar și în cele mai bine acoperite profesii, profunzimea este subțire. Atunci când Mercor a încercat să obțină scoruri ponderate ONET pentru patru ocupații cu valori de referință – investiții bancare, drept, contabilitate și inginerie software – a constatat că mai puțin de o treime din sarcinile ONET relevante pentru acele locuri de muncă aveau suficientă acoperire de referință pentru a fi incluse într-un scor ponderat.

De ce contează punctele moarte

Constatarea aterizează într-un moment în care scorurile de referință determină decizii reale. Întreprinderile aleg niveluri de model pe baza evaluărilor; consiliile aud despre progresul modelului de frontieră în ceea ce privește salturile de referință; factorii de decizie politică citează traiectorii capacității atunci când cântăresc reglementarea. Dacă 90% din orele de lucru se află în afara criteriilor de referință, toate aceste decizii se bazează pe un eșantion orientat spre birou, tehnic și academic.

Există motive structurale pentru care punctele de referință se grupează acolo unde o fac. Sarcinile de inginerie software sunt ieftine de specificat, ieftine de clasificat automat și ușor de proiectat pentru autorii de referință – care scriu în principal software. Evaluarea modului de paturi a unui asistent medical, a judecății unui coordonator de logistică în condiții de schimbare a constrângerilor sau a procesului de diagnosticare al unui electrician este mai greu de standardizat, mai greu de verificat de la distanță și, în multe cazuri, imposibil de testat fără prezență fizică.

Mercor, a cărei activitate de bază le potrivește experților din domeniu cu laboratoarele de inteligență artificială pentru munca de instruire și evaluare, are un interes comercial evident în a sublinia că acoperirea evaluării este redusă - compania vinde acces exact la experții care ar putea reduce acest decalaj. Dar problema de măsurare de bază este reală și din ce în ce mai recunoscută în domeniu, iar compania și-a publicat metodologia și lista completă de repere pentru control.

Compania spune că Harta sa de referință este un prim pas către o resursă actualizată continuu pentru înțelegerea capabilităților AI în întreaga economie și că lucrează pentru a obține scoruri de model ponderate O*NET care ponderează fiecare sarcină ocupațională în mod egal, mai degrabă decât să lase sarcinile frecvent evaluate să domine media.

Deceniul de măsurare

Ceea ce se întâmplă în continuare depinde dacă constructorii de repere urmează harta economică. Datele Mercor indică unde lipsește acoperirea – și, implicit, unde noile benchmark-uri ar avea cea mai mare valoare informațională. Ocupațiile cu locuri de muncă mari, salarii mari și acoperire de referință zero sunt, de fapt, un teritoriu de evaluare deschis.

Deocamdată, concluzia practică pentru oricine care consumă știri din clasamentul AI este o avertizare: profilul de referință al unui model descrie punctele sale forte în segmentul de economie pe care se întâmplă să o acopere benchmark-urile. Celelalte 90% din orele de lucru – munca de administrare, îngrijirea, serviciul pe teren, managementul etajului – rămân în mare parte un teritoriu nemăsurat, iar afirmațiile despre transformarea AI se bazează în prezent mai mult pe anecdote decât pe dovezi.

După cum spune propriul cadru al companiei, reperele s-au înmulțit în ultimii ani, dar acoperirea lucrărilor valoroase din punct de vedere economic rămâne limitată. Harta face vizibilă această limitare, țiglă cu țiglă, ocupație după ocupație.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →