90% Waktu Kerja AS Kurang Liputan Penanda Aras AI, Penemuan Peta Penanda Aras Mercor

Papan pendahulu AI menceritakan kisah yang sangat terperinci tentang cara model menulis kod, menyelesaikan masalah matematik dan menjawab peperiksaan peringkat siswazah. Apa yang mereka hampir tidak pernah beritahu anda ialah sejauh mana model melaksanakan kerja yang sebenarnya dibayar oleh kebanyakan orang Amerika.

Projek penyelidikan baharu daripada pasaran bakat AI Mercor meletakkan beberapa angka pada jurang itu. Menurut Peta Penanda Aras syarikat, yang diterbitkan minggu ini, kira-kira 90% waktu kerja Amerika dibelanjakan untuk tugas dengan sedikit atau tiada liputan daripada penanda aras AI sedia ada. For more context on this story, see our ongoing AI news.

"Ini menjadikannya sangat sukar untuk mengetahui betapa baiknya model AI dalam kerja yang sebenarnya dilakukan oleh orang Amerika, " tulis syarikat itu dalam penemuannya.

Mengira Penanda Aras Yang Rindu

Untuk membina peta, Mercor menyusun indeks 29 penanda aras yang dipilih untuk kualiti dan perkaitan ekonomi, kemudian memetakan gesaan mereka terhadap pangkalan data pekerjaan O*NET kerajaan AS — taksonomi piawai bagi 923 pekerjaan dan 18,797 tugas berbeza yang membentuk tenaga buruh Amerika.

Nombor liputan adalah jelas. Hanya 208 daripada 923 pekerjaan O*NET mempunyai sebarang liputan penanda aras sama sekali, dan hanya 924 daripada 18,797 tugas pekerjaan diwakili merentas keseluruhan indeks.

Metodologi, yang didokumenkan di tapak projek, bersandar pada AI itu sendiri: berikutan penyelidikan baru-baru ini, hakim LLM menandai setiap gesaan penanda aras dengan tugas ONET yang sepadan dengannya, dengan penandaan disahkan terhadap label pakar manusia pada subset penanda aras APEX milik Mercor sendiri. Sesuatu tugas dikira sebagai dilindungi hanya jika hakim memetakannya kepada sekurang-kurangnya lima gesaan daripada indeks penanda aras 29. Untuk menterjemahkan liputan kepada istilah ekonomi, Mercor menggabungkan anggarannya dengan anggaran terbitan LLM yang diterbitkan baru-baru ini bagi bahagian masa kerja bagi setiap tugas ONET.

Perlindungan Mengikut Wang

Jurang tidak diedarkan secara rawak. Analisis Mercor mencadangkan komuniti AI telah menanda aras pasaran buruh terbesar dahulu — pekerjaan dengan jumlah bil gaji terbesar, dikira daripada anggaran gaji dan pekerjaan Biro Statistik Buruh.

Pecahan pekerjaan-keluarga menunjukkan betapa tidak sekata perhatiannya. Pekerjaan komputer dan matematik, kawasan asal penciptaan penanda aras, adalah yang terbaik diliputi pada 29 daripada 36 pekerjaan. Operasi perniagaan dan kewangan mengikuti 33 daripada 48. Tetapi sokongan pejabat dan pentadbiran — sebuah keluarga yang menggaji berjuta-juta — hanya mempunyai 21 daripada 51 pekerjaan yang dilindungi, dan peranan pengurusan 21 daripada 56.

Walaupun dalam profesion yang dilindungi terbaik, kedalaman adalah nipis. Apabila Mercor mencuba pemarkahan berwajaran ONET untuk empat pekerjaan berat penanda aras — perbankan pelaburan, undang-undang, perakaunan dan kejuruteraan perisian — didapati bahawa kurang daripada satu pertiga daripada tugas ONET yang berkaitan dengan pekerjaan tersebut mempunyai liputan penanda aras yang mencukupi untuk dimasukkan dalam skor wajaran.

Mengapa Bintik Buta Penting

Penemuan itu tiba pada saat apabila markah penanda aras memacu keputusan sebenar. Perusahaan memilih peringkat model berdasarkan penilaian; lembaga mendengar tentang kemajuan model sempadan dari segi lonjakan penanda aras; penggubal dasar menyebut trajektori keupayaan semasa menimbang peraturan. Jika 90% waktu bekerja berada di luar ukuran penanda aras, semua keputusan itu bergantung pada sampel yang condong ke arah pejabat, teknikal dan akademik.

Terdapat sebab struktur gugusan penanda aras di mana mereka melakukannya. Tugas kejuruteraan perisian adalah murah untuk ditentukan, murah untuk digred secara automatik dan mudah untuk pengarang penanda aras — yang kebanyakannya menulis perisian — untuk mereka bentuk. Menilai cara tidur pembantu perubatan, pertimbangan penyelaras logistik di bawah kekangan peralihan, atau proses diagnostik juruelektrik adalah lebih sukar untuk diseragamkan, lebih sukar untuk disahkan dari jauh, dan dalam banyak kes mustahil untuk diuji tanpa kehadiran fizikal.

Mercor, yang perniagaan terasnya memadankan pakar domain dengan makmal AI untuk latihan dan kerja penilaian, mempunyai minat komersial yang jelas untuk menunjukkan bahawa liputan penilaian adalah tipis — syarikat itu menjual akses kepada pakar yang boleh menutup jurang itu. Tetapi masalah pengukuran asas adalah nyata dan semakin diakui di seluruh bidang, dan syarikat menerbitkan metodologi dan senarai penanda aras penuh untuk penelitian.

Syarikat itu berkata Peta Penanda Arasnya ialah langkah pertama ke arah sumber yang dikemas kini secara berterusan untuk memahami keupayaan AI merentas ekonomi, dan ia sedang berusaha ke arah skor model berwajaran O*NET yang menimbang setiap tugas pekerjaan secara sama rata dan bukannya membiarkan tugasan yang sering ditanda aras menguasai purata.

Dekad Pengukuran

Perkara yang berlaku seterusnya bergantung pada sama ada pembina penanda aras mengikut peta ekonomi. Data Mercor menunjukkan tempat liputan tiada — dan, secara tersirat, tempat penanda aras baharu akan membawa nilai maklumat yang paling banyak. Pekerjaan dengan pekerjaan yang besar, bil gaji tinggi dan liputan penanda aras sifar adalah, sebenarnya, wilayah penilaian terbuka.

Buat masa ini, pengambilan praktikal untuk sesiapa sahaja yang menggunakan berita papan pendahulu AI adalah kaveat: profil penanda aras model menerangkan kekuatannya dalam bahagian ekonomi yang berlaku untuk penanda aras. 90% waktu bekerja yang lain — kerja pentadbir, pengasuh, perkhidmatan di lapangan, pengurusan lantai — sebahagian besarnya kekal sebagai wilayah yang tidak terukur, dan dakwaan tentang AI mengubahnya pada masa ini lebih bergantung pada anekdot daripada bukti.

Seperti yang dinyatakan oleh pembingkaian syarikat sendiri, penanda aras telah berlipat ganda dalam beberapa tahun kebelakangan ini, tetapi liputan kerja bernilai ekonomi kekal terhad. Peta menjadikan had itu kelihatan, jubin demi jubin, pekerjaan demi pekerjaan.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →