Papan peringkat AI menceritakan kisah yang sangat mendetail tentang seberapa baik model menulis kode, memecahkan masalah matematika, dan menjawab ujian tingkat pascasarjana. Apa yang hampir tidak pernah mereka sampaikan kepada Anda adalah seberapa baik model melakukan pekerjaan yang sebenarnya dibayar oleh kebanyakan orang Amerika.
Sebuah proyek penelitian baru dari pasar bakat AI Mercor menjelaskan kesenjangan tersebut. Menurut Peta Benchmark perusahaan, yang diterbitkan minggu ini, sekitar 90% jam kerja di Amerika dihabiskan untuk tugas-tugas yang cakupannya sedikit atau tidak sama sekali dari tolok ukur AI yang ada. For more context on this story, see our ongoing AI news.
“Hal ini membuat sangat sulit untuk mengetahui seberapa bagus model AI dalam pekerjaan yang sebenarnya dilakukan orang Amerika,” tulis perusahaan tersebut dalam temuannya.
Menghitung Tolok Ukur Apa yang Miss
Untuk membuat peta tersebut, Mercor menyusun indeks dari 29 tolok ukur yang dipilih berdasarkan kualitas dan relevansi ekonomi, kemudian memetakan petunjuk-petunjuk tersebut berdasarkan database pekerjaan O*NET milik pemerintah AS – taksonomi standar yang terdiri dari 923 pekerjaan dan 18.797 tugas berbeda yang membentuk angkatan kerja Amerika.
Jumlah cakupannya sangat besar. Hanya 208 dari 923 pekerjaan O*NET yang memiliki cakupan tolok ukur, dan hanya 924 dari 18.797 tugas pekerjaan yang terwakili di seluruh indeks.
Metodologinya, yang didokumentasikan di situs proyek, bersandar pada AI itu sendiri: berdasarkan penelitian terbaru, seorang juri LLM menandai setiap permintaan benchmark dengan tugas-tugas ONET yang terkait, dengan penandaan tersebut divalidasi berdasarkan label pakar manusia pada subset benchmark APEX milik Mercor. Sebuah tugas dihitung sebagai selesai hanya jika juri memetakannya ke setidaknya lima petunjuk dari 29 indeks patokan. Untuk menerjemahkan cakupan ke dalam istilah ekonomi, Mercor menggabungkan perkiraannya dengan perkiraan pembagian waktu kerja yang diturunkan dari LLM yang baru-baru ini diterbitkan untuk setiap tugas ONET.
Cakupan Mengikuti Uang
Kesenjangan tersebut tidak terdistribusi secara acak. Analisis Mercor menunjukkan bahwa komunitas AI telah melakukan tolok ukur terhadap pasar tenaga kerja terbesar terlebih dahulu – yaitu pekerjaan dengan total tagihan upah terbesar, yang dihitung dari perkiraan upah dan pekerjaan Biro Statistik Tenaga Kerja.
Perincian pekerjaan-keluarga menunjukkan betapa tidak seimbangnya perhatian tersebut. Pekerjaan komputer dan matematika, yang merupakan asal muasal pembuatan tolok ukur, merupakan pekerjaan yang paling baik tercakup dalam 29 dari 36 pekerjaan. Operasi bisnis dan keuangan berada di peringkat 33 dari 48 pekerjaan. Namun dukungan perkantoran dan administrasi – sebuah keluarga yang mempekerjakan jutaan orang – hanya mencakup 21 dari 51 pekerjaan, dan peran manajemen berada pada 21 dari 56 pekerjaan.
Bahkan dalam profesi dengan cakupan terbaik sekalipun, kedalamannya sangatlah tipis. Ketika Mercor mencoba melakukan penilaian dengan pembobotan ONET untuk empat pekerjaan dengan tolok ukur yang berat – perbankan investasi, hukum, akuntansi, dan rekayasa perangkat lunak – Mercor menemukan bahwa kurang dari sepertiga tugas ONET yang relevan dengan pekerjaan tersebut memiliki cakupan tolok ukur yang cukup untuk dimasukkan dalam skor tertimbang.
Mengapa Titik Buta Penting
Temuan ini muncul ketika skor tolok ukur mendorong keputusan nyata. Perusahaan memilih tingkatan model berdasarkan evaluasi; dewan mendengar tentang kemajuan model frontier dalam hal lompatan benchmark; Para pembuat kebijakan mengutip lintasan kemampuan ketika mempertimbangkan peraturan. Jika 90% jam kerja berada di luar tolok ukur yang diukur, semua keputusan tersebut bergantung pada sampel yang condong ke arah kantor, teknis, dan akademis.
Ada alasan struktural mengapa benchmark mengelompok di mana mereka berada. Tugas rekayasa perangkat lunak murah untuk ditentukan, murah untuk dinilai secara otomatis, dan mudah dirancang oleh penulis benchmark — yang sebagian besar menulis perangkat lunak. Menilai perilaku asisten medis di samping tempat tidur, penilaian koordinator logistik dalam kondisi yang berubah-ubah, atau proses diagnostik teknisi listrik lebih sulit untuk distandarisasi, lebih sulit diverifikasi dari jarak jauh, dan dalam banyak kasus tidak mungkin dilakukan pengujian tanpa kehadiran fisik.
Mercor, yang bisnis utamanya mencocokkan pakar domain dengan laboratorium AI untuk pelatihan dan evaluasi, memiliki kepentingan komersial yang jelas dengan menunjukkan bahwa cakupan evaluasinya tipis — perusahaan menjual akses ke pakar yang dapat menutup kesenjangan tersebut. Namun permasalahan pengukuran yang mendasarinya adalah nyata dan semakin diakui di seluruh bidang, dan perusahaan menerbitkan metodologi dan daftar tolok ukur lengkap untuk pengawasan.
Perusahaan tersebut menyatakan bahwa Peta Tolok Ukur yang mereka buat merupakan langkah pertama menuju sumber daya yang terus diperbarui untuk memahami kemampuan AI di seluruh perekonomian, dan perusahaan berupaya untuk mencapai skor model berbobot O*NET yang memberikan bobot yang sama pada setiap tugas pekerjaan, dan tidak membiarkan tugas yang sering dijadikan tolok ukur mendominasi rata-rata.
Dekade Pengukuran
Apa yang terjadi selanjutnya bergantung pada apakah pembuat tolok ukur mengikuti peta ekonomi. Data Mercor menunjukkan di mana cakupannya belum ada – dan, secara implisit, di mana tolok ukur baru akan memberikan nilai informasi paling besar. Pekerjaan dengan jumlah lapangan kerja yang besar, tagihan upah yang tinggi, dan cakupan yang tidak memiliki patokan, pada dasarnya, merupakan wilayah evaluasi terbuka.
Untuk saat ini, kesimpulan praktis yang dapat diambil oleh siapa pun yang membaca berita papan peringkat AI adalah sebuah peringatan: profil tolok ukur suatu model menggambarkan kekuatannya dalam bagian perekonomian yang dicakup oleh tolok ukur tersebut. 90% jam kerja lainnya – pekerjaan admin, pengasuhan, layanan lapangan, manajemen lantai – sebagian besar masih merupakan wilayah yang tidak terukur, dan klaim tentang transformasi AI saat ini lebih didasarkan pada anekdot daripada bukti.
Sebagaimana digambarkan dalam kerangka perusahaan, tolok ukur telah meningkat dalam beberapa tahun terakhir, namun cakupan pekerjaan yang bernilai ekonomi masih terbatas. Peta membuat batasan itu terlihat, ubin demi ubin, pekerjaan demi pekerjaan.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
