AI-poängtavlor berättar en anmärkningsvärt detaljerad historia om hur väl modeller skriver kod, löser matematiska problem och svarar på examina på forskarnivå. Vad de nästan aldrig berättar för dig är hur bra modeller utför det arbete de flesta amerikaner faktiskt får betalt för att göra.
Ett nytt forskningsprojekt från AI-talangmarknaden Mercor sätter en siffra på det gapet. Enligt företagets Benchmark Map, som publicerades denna vecka, spenderas ungefär 90 % av den amerikanska arbetstiden på uppgifter med liten eller ingen täckning från befintliga AI-riktmärken. For more context on this story, see our ongoing more AI stories.
"Detta gör det väldigt svårt att veta hur bra AI-modeller är i det arbete amerikaner faktiskt gör", skriver företaget i sina resultat.
Räkna vad riktmärken missar
För att bygga kartan sammanställde Mercor ett index med 29 riktmärken utvalda för kvalitet och ekonomisk relevans, och kartlade sedan deras uppmaningar mot den amerikanska regeringens O*NET-yrkesdatabas – standardtaxonomien för 923 yrken och 18 797 distinkta uppgifter som utgör den amerikanska arbetskraften.
Täckningssiffrorna är skarpa. Endast 208 av 923 O*NET-yrken har någon riktmärketäckning alls, och bara 924 av 18 797 yrkesuppgifter är representerade över hela indexet.
Metodiken, dokumenterad på projektets webbplats, bygger på AI själv: efter nyligen genomförd forskning taggar en LLM-domare varje benchmark-prompt med de ONET-uppgifter den motsvarar, med taggningen validerad mot mänskliga expertetiketter på Mercors egen APEX-benchmark-delmängd. En uppgift räknas som täckt endast om domaren mappar den till minst fem prompter från 29-riktmärkesindexet. För att översätta täckningen till ekonomiska termer kombinerade Mercor sina uppskattningar med nyligen publicerade LLM-härledda uppskattningar av arbetstidsandelen för varje ONET-uppgift.
Täckning följer pengarna
Klyftorna är inte slumpmässigt fördelade. Mercors analys tyder på att AI-gemenskapen har benchmarkat de största arbetsmarknaderna först - yrkena med de största totala lönekostnaderna, beräknat från Bureau of Labor Statistics löne- och sysselsättningsuppskattningar.
Uppdelningen mellan jobb och familj visar hur ojämn uppmärksamheten är. Dator- och matematiska yrken, hemmaplanen för att skapa benchmark, är bäst täckta av 29 av 36 yrken. Affärs- och finansverksamhet följer vid 33 av 48. Men kontors- och administrativt stöd – en familj som sysselsätter miljoner – har bara 21 av 51 yrken täckta och chefsroller 21 av 56.
Även i de bäst täckta yrkena är djupet tunt. När Mercor försökte ONET-viktade poäng för fyra benchmark-tunga yrken – investeringsbank, juridik, redovisning och mjukvaruteknik – fann den att färre än en tredjedel av ONET-uppgifterna som var relevanta för dessa jobb hade tillräckligt med benchmarktäckning för att inkluderas i en viktad poäng.
Varför de blinda fläckarna är viktiga
Upptäckten landar i ett ögonblick då benchmarkpoäng styr verkliga beslut. Företag väljer modellnivåer baserat på utvärderingar; styrelser hör om frontier-modellens framsteg i termer av benchmarkhopp; Politiker nämner förmågasbanor när de väger reglering. Om 90 % av arbetstiden ligger utanför vad riktmärken mäter, vilar alla dessa beslut på ett urval som är snett mot det kontorsbundna, det tekniska och det akademiska.
Det finns strukturella skäl att riktmärken samlas där de gör det. Programvarutekniska uppgifter är billiga att specificera, billiga att betygsätta automatiskt och lätta för benchmarkförfattare – som oftast skriver mjukvara – att designa. Att bedöma en medicinsk assistents sätt att vara vid sängen, en logistiksamordnares bedömning under skiftande begränsningar eller en elektrikers diagnostiska process är svårare att standardisera, svårare att verifiera på distans och i många fall omöjligt att testa utan fysisk närvaro.
Mercor, vars kärnverksamhet matchar domänexperter med AI-labb för utbildnings- och utvärderingsarbete, har ett uppenbart kommersiellt intresse av att påpeka att utvärderingstäckningen är tunn – företaget säljer tillgång till exakt de experter som skulle kunna täppa till det gapet. Men det underliggande mätproblemet är verkligt och alltmer erkänt över hela fältet, och företaget publicerade sin metodik och fullständiga benchmarklista för granskning.
Företaget säger att dess benchmarkkarta är ett första steg mot en kontinuerligt uppdaterad resurs för att förstå AI-kapaciteten över hela ekonomin, och det arbetar mot O*NET-vägda modellpoäng som väger varje yrkesuppgift lika, snarare än att låta ofta benchmarkade uppgifter dominera genomsnittet.
Mätårtiondet
Vad som händer sedan beror på om benchmarkbyggare följer den ekonomiska kartan. Mercor-data pekar på var täckning saknas – och, implicit, var nya riktmärken skulle ha störst informationsvärde. Yrken med stor sysselsättning, höga lönekostnader och noll riktmärketäckning är i själva verket ett öppet utvärderingsområde.
För närvarande är den praktiska takeaway för alla som konsumerar AI leaderboard-nyheter en varning: en modells benchmarkprofil beskriver dess styrkor i den del av ekonomin som benchmarks råkar täcka. De övriga 90 % av arbetstimmarna – administratörsarbetet, omvårdnaden, fälttjänsten, golvhanteringen – förblir i stort sett ouppmätt territorium och påståenden om AI som förvandlar det vilar för närvarande mer på anekdoter än bevis.
Som företagets egen inramning uttrycker det har riktmärken mångdubblats de senaste åren, men täckningen av ekonomiskt värdefulla arbeten är fortfarande begränsad. Kartan gör den begränsningen synlig, ruta för ruta, yrke för yrke.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
