Papan pimpinan AI nyritakake crita sing rinci babagan carane model nulis kode, ngrampungake masalah matematika, lan njawab ujian tingkat lulusan. Sing meh ora nate dakcritakake yaiku kepiye model nindakake pakaryan sing paling akeh wong Amerika sing dibayar.
Proyèk riset anyar saka pasar bakat AI Mercor nempatake nomer ing jurang kasebut. Miturut Peta Benchmark perusahaan, sing diterbitake minggu iki, kira-kira 90% jam kerja Amerika digunakake kanggo tugas kanthi sithik utawa ora ana jangkoan saka benchmark AI sing ana. For more context on this story, see our ongoing AI industry coverage.
"Iki nggawe angel banget ngerti kepiye model AI sing apik ing pakaryan sing ditindakake dening wong Amerika," tulis perusahaan kasebut ing temuan kasebut.
Ngetung Apa Patokan Miss
Kanggo mbangun peta kasebut, Mercor nyusun indeks 29 tolok ukur sing dipilih kanggo kualitas lan relevansi ekonomi, banjur menehi peta pituduh marang basis data O*NET pemerintah AS - taksonomi standar 923 pendhudhukan lan 18.797 tugas sing béda-béda sing mbentuk tenaga kerja Amerika.
Angka jangkoan kasebut cetha. Mung 208 saka 923 pendhudhukan O*NET sing duwe jangkoan pathokan, lan mung 924 saka 18.797 tugas sing diwakili ing kabeh indeks.
Metodologi kasebut, sing didokumentasikan ing situs proyek kasebut, gumantung ing AI dhewe: sawise riset anyar, hakim LLM menehi tag saben pituduh pathokan kanthi tugas ONET sing cocog, kanthi menehi tag divalidasi marang label pakar manungsa ing subset benchmark APEX dhewe. A tugas counts minangka dijamin mung yen hakim map menyang paling limang pituduh saka indeks 29-benchmark. Kanggo nerjemahake jangkoan menyang istilah ekonomi, Mercor nggabungake taksiran karo perkiraan sing diturunake LLM sing mentas diterbitake babagan bagean wektu kerja saben tugas ONET.
Cakupan Nderek Dhuwit
Kesenjangan kasebut ora disebarake kanthi acak. Analisis Mercor nuduhake yen komunitas AI wis benchmarking pasar tenaga kerja paling gedhe dhisik - pendhudhukan kanthi total tagihan upah paling gedhe, sing diitung saka perkiraan upah lan tenaga kerja Biro Statistik Tenaga Kerja.
Pecah proyek-kulawarga nuduhake carane manungsa waé ora rata. Pakaryan komputer lan matématika, gambut asal saka panyiptan pathokan, minangka sing paling apik ing 29 saka 36 pendhudhukan. Operasi bisnis lan finansial tindakake ing 33 saka 48. Nanging dhukungan kantor lan administratif - kulawarga sing makaryakke mayuta-yuta - mung 21 saka 51 pendhudhukan dijamin, lan peran manajemen 21 saka 56.
Malah ing profesi sing paling ditutupi, ambane tipis. Nalika Mercor nyoba ngetung ONET-bobot kanggo papat pendhudhukan benchmark-abot - investasi banking, hukum, accounting, lan software engineering - ketemu sing kurang saka siji-katelu saka tugas ONET cocog kanggo proyek sing wis cukup jangkoan pathokan kanggo kalebu ing skor bobot.
Kenapa Buta Buta Penting
Temokake ndharat ing wayahe nalika skor benchmark ngarahake keputusan nyata. Enterprises Pick model undakan adhedhasar evaluasi; Papan krungu babagan kemajuan model perbatasan babagan lompatan pathokan; pembuat kebijakan nyebutake lintasan kemampuan nalika nimbang regulasi. Yen 90% saka jam kerja njagong ing njaba apa sing diukur, kabeh keputusan kasebut gumantung ing conto sing condong menyang kantor, teknis, lan akademisi.
Ana alesan struktural benchmarks cluster ngendi padha nindakake. Tugas rekayasa piranti lunak murah kanggo nemtokake, murah kanthi otomatis, lan gampang kanggo penulis pathokan - sing biasane nulis piranti lunak - kanggo ngrancang. Nemtokake cara bedside asisten medis, pertimbangan koordinator logistik ing watesan owah-owahan, utawa proses diagnostik teknisi luwih angel distandarisasi, luwih angel diverifikasi saka jarak jauh, lan ing pirang-pirang kasus ora bisa dites tanpa ana fisik.
Mercor, sing bisnis inti cocog karo pakar domain karo lab AI kanggo latihan lan karya evaluasi, nduweni minat komersial sing jelas kanggo nuduhake manawa jangkoan evaluasi tipis - perusahaan adol akses menyang para ahli sing bisa nutup celah kasebut. Nanging masalah pangukuran sing ndasari nyata lan tambah akeh diakoni ing lapangan, lan perusahaan nerbitake metodologi lan dhaptar pathokan lengkap kanggo ditliti.
Perusahaan kasebut ujar Peta Benchmark minangka langkah pertama menyang sumber daya sing terus dianyari kanggo ngerteni kemampuan AI ing saindenging ekonomi, lan ngupayakake skor model bobot O * NET sing bobote saben tugas pekerjaan kanthi padha tinimbang ngidini tugas sing asring ditandhani dadi dominasi rata-rata.
Dasawarsa Pengukuran
Apa sing kedadeyan sabanjure gumantung apa tukang benchmark ngetutake peta ekonomi. Data Mercor nuduhake ing ngendi jangkoan ilang - lan, kanthi implisit, ing ngendi pathokan anyar bakal nggawa nilai informasi paling akeh. Pakaryan kanthi lapangan kerja gedhe, tagihan upah dhuwur, lan jangkoan patokan nol, sejatine, wilayah evaluasi mbukak.
Saiki, praktis kanggo sapa wae sing nggunakake warta leaderboard AI minangka guwa: profil pathokan model nggambarake kekuwatane ing irisan ekonomi sing ditrapake benchmark. 90% jam kerja liyane - kerja admin, caregiving, layanan lapangan, manajemen lantai - tetep dadi wilayah sing ora bisa diukur, lan pratelan babagan AI sing ngowahi saiki luwih akeh babagan anekdot tinimbang bukti.
Minangka framing perusahaan dhewe, benchmarks wis ping pingan ing taun anyar, nanging jangkoan karya ekonomi terkenal tetep winates. Peta kasebut ndadekake watesan kasebut katon, kothak kanthi kothak, pendhudhukan kanthi pendhudhukan.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
