90% van de Amerikaanse werkuren heeft geen dekking voor AI-benchmarks, zo blijkt uit de Benchmark Map van Mercor

AI-klassementen vertellen een opmerkelijk gedetailleerd verhaal over hoe goed modellen code schrijven, wiskundige problemen oplossen en examens op graduate niveau beantwoorden. Wat ze je bijna nooit vertellen, is hoe goed modellen het werk verrichten waarvoor de meeste Amerikanen feitelijk worden betaald.

Een nieuw onderzoeksproject van AI-talentenmarktplaats Mercor zet een cijfer op die kloof. Volgens de Benchmark Map van het bedrijf, die deze week is gepubliceerd, wordt ongeveer 90% van de Amerikaanse werkuren besteed aan taken die weinig of geen dekking bieden via bestaande AI-benchmarks. Voor meer context over dit verhaal, zie ons AI-trends.

“Dit maakt het erg moeilijk om te weten hoe goed AI-modellen zijn in het werk dat Amerikanen feitelijk doen”, schrijft het bedrijf in zijn bevindingen.

Tellen wat benchmarks missen

Om de kaart samen te stellen heeft Mercor een index samengesteld van 29 benchmarks, geselecteerd op kwaliteit en economische relevantie, en vervolgens de aanwijzingen ervan vergeleken met de O*NET-beroepsdatabase van de Amerikaanse overheid – de standaardtaxonomie van 923 beroepen en 18.797 verschillende taken waaruit de Amerikaanse beroepsbevolking bestaat.

De dekkingscijfers zijn grimmig. Slechts 208 van de 923 O*NET-beroepen hebben überhaupt enige benchmarkdekking, en slechts 924 van de 18.797 beroepstaken zijn vertegenwoordigd in de gehele index.

De methodologie, gedocumenteerd op de projectsite, leunt op AI zelf: na recent onderzoek tagt een LLM-jury elke benchmarkprompt met de ONET-taken waarmee deze correspondeert, waarbij de tagging wordt gevalideerd aan de hand van menselijke expertlabels op Mercor's eigen APEX-benchmarksubset. Een taak telt alleen als gedekt als de rechter deze toewijst aan ten minste vijf aanwijzingen uit de 29-benchmarkindex. Om de dekking in economische termen te vertalen, combineerde Mercor zijn schattingen met onlangs gepubliceerde LLM-afgeleide schattingen van het werktijdaandeel van elke ONET-taak.

De dekking volgt het geld

De gaten zijn niet willekeurig verdeeld. Uit de analyse van Mercor blijkt dat de AI-gemeenschap eerst de grootste arbeidsmarkten heeft vergeleken: de beroepen met de grootste totale loonsom, berekend op basis van loon- en werkgelegenheidsschattingen van het Bureau of Labor Statistics.

De uitsplitsing naar functiefamilie laat zien hoe ongelijk de aandacht is. Computer- en wiskundige beroepen, de thuisbasis voor het maken van benchmarks, komen met 29 van de 36 beroepen het best aan bod. Zakelijke en financiële activiteiten volgen op 33 van de 48. Maar kantoor- en administratieve ondersteuning – een gezin met miljoenen werknemers – omvat slechts 21 van de 51 beroepen, en managementfuncties 21 van de 56.

Zelfs in de best bestreken beroepen is de diepte schaars. Toen Mercor ONET-gewogen scores probeerde te maken voor vier beroepen die veel benchmarks in beslag namen – investment banking, rechten, boekhouding en software-engineering – ontdekte het dat minder dan een derde van de ONET-taken die relevant zijn voor die banen voldoende benchmarkdekking had om in een gewogen score te worden opgenomen.

Waarom de blinde vlekken belangrijk zijn

De bevinding komt op een moment waarop benchmarkscores tot echte beslissingen leiden. Bedrijven kiezen modelniveaus op basis van evaluaties; besturen horen over de vooruitgang van het frontiermodel in termen van benchmarksprongen; beleidsmakers noemen capaciteitstrajecten bij het afwegen van regelgeving. Als 90% van de werkuren buiten de maatstaven valt, berusten al deze beslissingen op een steekproef die zich richt op kantoorgebonden, technische en academische zaken.

Er zijn structurele redenen waarom benchmarks clusteren waar ze dat doen. Software-engineeringtaken zijn goedkoop om te specificeren, goedkoop om automatisch te beoordelen en gemakkelijk te ontwerpen voor benchmarkauteurs (die meestal software schrijven). Het beoordelen van het gedrag van een medisch assistent aan het bed, het oordeel van een logistiek coördinator onder wisselende beperkingen, of het diagnostische proces van een elektricien is moeilijker te standaardiseren, moeilijker op afstand te verifiëren en in veel gevallen onmogelijk te testen zonder fysieke aanwezigheid.

Mercor, wiens kernactiviteit domeinexperts koppelt aan AI-laboratoria voor training en evaluatiewerk, heeft een duidelijk commercieel belang om erop te wijzen dat de evaluatiedekking schaars is: het bedrijf verkoopt toegang aan precies die experts die die kloof zouden kunnen dichten. Maar het onderliggende meetprobleem is reëel en wordt in het hele veld steeds meer erkend, en het bedrijf heeft zijn methodologie en volledige benchmarklijst gepubliceerd voor nauwkeurig onderzoek.

Het bedrijf zegt dat zijn Benchmark Map een eerste stap is in de richting van een voortdurend bijgewerkte bron voor het begrijpen van AI-mogelijkheden in de hele economie, en werkt aan O*NET-gewogen modelscores die elke beroepstaak even zwaar wegen, in plaats van vaak gebenchmarkte taken het gemiddelde te laten domineren.

Het meetdecennium

Wat er daarna gebeurt, hangt af van de vraag of benchmarkbouwers de economische kaart volgen. De gegevens van Mercor geven aan waar de dekking ontbreekt – en, impliciet, waar nieuwe benchmarks de meeste informatiewaarde zouden hebben. Beroepen met een grote werkgelegenheid, hoge loonkosten en nulbenchmarkdekking zijn in feite een open evaluatiegebied.

Voorlopig is de praktische boodschap voor iedereen die AI-leiderschapsnieuws consumeert een waarschuwing: het benchmarkprofiel van een model beschrijft zijn sterke punten in het deel van de economie dat toevallig door benchmarks wordt bestreken. De overige 90% van de werkuren – het administratieve werk, de zorgverlening, de buitendienst, het vloerbeheer – blijft grotendeels een onbekend terrein, en beweringen over de transformatie van AI berusten momenteel meer op anekdotes dan op bewijsmateriaal.

Zoals het bedrijf zelf stelt, zijn de benchmarks de afgelopen jaren toegenomen, maar de dekking van economisch waardevol werk blijft beperkt. De kaart maakt die beperking zichtbaar, tegel voor tegel, beroep voor beroep.

---

Blijf Voorop met AI

Het laatste AI-nieuws, analyses en doorbraken — allemaal op één plek.

Lees meer AI-nieuws →