Yapay zeka lider tabloları, modellerin ne kadar iyi kod yazdığına, matematik problemlerini çözdüklerine ve lisansüstü düzeydeki sınavlara ne kadar iyi yanıt verdiklerine dair son derece ayrıntılı bir hikaye anlatıyor. Size neredeyse hiç söylemedikleri şey, çoğu Amerikalının yapması için para aldığı işi modellerin ne kadar iyi yerine getirdiğidir.
Yapay zeka yetenek pazarı Mercor'un yeni bir araştırma projesi bu boşluğa bir sayı koyuyor. Şirketin bu hafta yayınlanan Karşılaştırma Haritasına göre, Amerika'daki çalışma saatlerinin kabaca %90'ı, mevcut AI kıyaslamalarının çok az kapsamına giren veya hiç kapsamayan görevlere harcanıyor. For more context on this story, see our ongoing AI industry coverage.
Şirket, bulgularında şöyle yazıyor: "Bu, Amerikalıların gerçekte yaptığı işte yapay zeka modellerinin ne kadar iyi olduğunu bilmeyi çok zorlaştırıyor."
Karşılaştırmaların Kaçırdığı Şeyleri Saymak
Haritayı oluşturmak için Mercor, kalite ve ekonomik uygunluk açısından seçilen 29 kriterden oluşan bir endeks derledi, ardından bunların ipuçlarını ABD hükümetinin O*NET mesleki veri tabanına (Amerikan işgücünü oluşturan 923 meslek ve 18.797 farklı görevden oluşan standart sınıflandırma) göre eşleştirdi.
Kapsama rakamları çok ciddi. 923 O*NET mesleğinden yalnızca 208'i herhangi bir kıyaslama kapsamına sahip ve 18.797 mesleki görevden yalnızca 924'ü tüm endekste temsil ediliyor.
Projenin sitesinde belgelenen metodoloji, yapay zekanın kendisine dayanmaktadır: Son araştırmaların ardından, bir Yüksek Lisans jürisi, Mercor'un kendi APEX kıyaslama alt kümesindeki insan uzman etiketlerine göre doğrulanan etiketleme ile her kıyaslama istemini karşılık geldiği ONET görevleriyle etiketler. Bir görev, yalnızca hakemin onu 29 karşılaştırmalı indeksten en az beş ipucuyla eşleştirmesi durumunda kapsanan sayılır. Kapsamı ekonomik terimlere dönüştürmek için Mercor, tahminlerini her ONET görevinin çalışma süresi payına ilişkin yakın zamanda yayınlanan LLM'den türetilmiş tahminlerle birleştirdi.
Kapsama Parayı Takip Eder
Boşluklar rastgele dağılmamıştır. Mercor'un analizi, yapay zeka topluluğunun öncelikle en büyük işgücü piyasalarını, yani Çalışma İstatistikleri Bürosu ücret ve istihdam tahminlerinden hesaplanan, toplam ücret faturası en yüksek olan meslekleri karşılaştırdığını gösteriyor.
İş-aile dağılımı dikkatin ne kadar dengesiz olduğunu gösteriyor. Karşılaştırmalı değerlendirmenin ana alanı olan bilgisayar ve matematik meslekleri, 36 mesleğin 29'unda en iyi şekilde kapsanan mesleklerdir. Bunu 48 meslekten 33'ünde ticari ve finansal operasyonlar takip ediyor. Ancak milyonlarca çalışanı olan bir aile olan ofis ve idari destek, 51 meslekten yalnızca 21'ini ve 56 meslekten 21'ini yönetim rollerini kapsıyor.
En iyi kapsanan mesleklerde bile derinlik zayıftır. Mercor, kıyaslama ağırlıklı dört meslek (yatırım bankacılığı, hukuk, muhasebe ve yazılım mühendisliği) için ONET ağırlıklı puanlamayı denediğinde, bu işlerle ilgili ONET görevlerinin üçte birinden azının, ağırlıklı bir puana dahil edilmek için yeterli kıyaslama kapsamına sahip olduğunu buldu.
Kör Noktalar Neden Önemlidir
Bulgu, kıyaslama puanlarının gerçek kararları yönlendirdiği bir anda ortaya çıkıyor. Kuruluşlar, değerlendirmelere dayalı olarak model katmanlarını seçer; yönetim kurulları, kıyaslama sıçramaları açısından sınır modelindeki ilerlemeyi duyuyor; Politika yapıcılar düzenlemeyi tartarken yetenek gidişatından bahsediyor. Çalışma saatlerinin %90'ı kriterlerin ölçtüğü dışında kalıyorsa, bu kararların tümü ofise bağlı, teknik ve akademik olana doğru çarpık bir örnekleme dayanmaktadır.
Kıyaslamaların kümelendiği yapısal nedenler vardır. Yazılım mühendisliği görevlerini belirlemek ucuzdur, otomatik olarak not vermek ucuzdur ve çoğunlukla yazılım yazan kıyaslama yazarları için tasarlaması kolaydır. Bir tıbbi asistanın yatak başındaki tavrını, bir lojistik koordinatörünün değişen kısıtlamalar altındaki muhakemesini veya bir elektrikçinin teşhis sürecini değerlendirmek daha zordur, uzaktan doğrulamak daha zordur ve çoğu durumda fiziksel varlık olmadan test etmek imkansızdır.
Ana işi, eğitim ve değerlendirme çalışmaları için alan uzmanlarını yapay zeka laboratuvarlarıyla eşleştiren Mercor'un, değerlendirme kapsamının zayıf olduğunu belirtmekte bariz bir ticari çıkarı var; şirket tam olarak bu açığı kapatabilecek uzmanlara erişim satıyor. Ancak altta yatan ölçüm sorunu gerçektir ve sahada giderek daha fazla kabul görmektedir ve şirket, inceleme için metodolojisini ve tam kıyaslama listesini yayınladı.
Şirket, Karşılaştırma Haritasının, ekonomi genelinde yapay zeka yeteneklerini anlamak için sürekli güncellenen bir kaynağa doğru atılan ilk adım olduğunu ve sık sık karşılaştırılan görevlerin ortalamaya hakim olmasına izin vermek yerine, her mesleki görevi eşit şekilde ağırlıklandıran O*NET ağırlıklı model puanları üzerinde çalıştığını söylüyor.
Ölçüm On Yılı
Bundan sonra ne olacağı, referans oluşturucuların ekonomik haritayı takip edip etmemelerine bağlıdır. Mercor verileri, kapsamın eksik olduğu ve dolaylı olarak yeni kıyaslamaların en fazla bilgi değerini taşıyacağı yerlere işaret ediyor. Büyük istihdama, yüksek ücret faturalarına ve sıfır referans kapsamına sahip meslekler aslında açık değerlendirme alanıdır.
Şimdilik, AI lider tablosu haberlerini takip eden herkes için pratik çıkarım bir uyarıdır: Bir modelin kıyaslama profili, kıyaslamaların kapsadığı ekonomi dilimindeki güçlü yönlerini tanımlar. Çalışma saatlerinin diğer %90'ı (yönetici işi, bakıcılık, saha servisi, kat yönetimi) büyük ölçüde ölçülmeyen bir alan olarak kalıyor ve yapay zekanın bunu dönüştürdüğüne dair iddialar şu anda kanıttan çok anekdota dayanıyor.
Şirketin kendi çerçevesinin de ortaya koyduğu gibi, kriterler son yıllarda çoğaldı ancak ekonomik açıdan değerli işlerin kapsamı sınırlı kalıyor. Harita, bu sınırlamayı fayans fayans, mesleğe göre görünür kılıyor.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
