Žebříčky AI vyprávějí pozoruhodně podrobný příběh o tom, jak dobře modely píší kód, řeší matematické problémy a odpovídají na zkoušky na postgraduální úrovni. Téměř nikdy vám neřeknou, jak dobře modelky vykonávají práci, za kterou je většina Američanů ve skutečnosti placena.
Nový výzkumný projekt z trhu s talenty v oblasti umělé inteligence Mercor tuto mezeru zvýraznil. Podle srovnávací mapy společnosti, zveřejněné tento týden, je zhruba 90 % americké pracovní doby věnováno úkolům s malým nebo žádným pokrytím stávajícími benchmarky AI. For more context on this story, see our ongoing AI trends.
„To velmi ztěžuje zjištění, jak dobré jsou modely AI v práci, kterou Američané skutečně dělají,“ píše společnost ve svých zjištěních.
Počítání toho, co chybí benchmarky
K sestavení mapy sestavil Mercor rejstřík 29 srovnávacích kritérií vybraných pro kvalitu a ekonomickou relevanci a poté zmapoval jejich podněty podle pracovní databáze O*NET vlády USA – standardní taxonomie 923 povolání a 18 797 různých úkolů, které tvoří americkou pracovní sílu.
Čísla pokrytí jsou strohá. Pouze 208 z 923 povolání O*NET má vůbec nějaké pokrytí benchmarkem a pouze 924 z 18 797 pracovních úkolů je zastoupeno v celém indexu.
Metodika, zdokumentovaná na stránkách projektu, se opírá o AI samotnou: po nedávném výzkumu označí soudce LLM každou výzvu k benchmarku úkoly ONET, kterým odpovídá, přičemž označení je ověřeno podle označení lidských expertů na vlastní podmnožině benchmarků APEX společnosti Mercor. Úloha se počítá jako pokrytá pouze tehdy, pokud ji rozhodčí namapuje na alespoň pět výzev z 29 benchmarkového indexu. Pro převedení pokrytí do ekonomických termínů Mercor zkombinoval své odhady s nedávno zveřejněnými odhady podílu na pracovní době u každého úkolu ONET odvozeným z LLM.
Pokrytí následuje peníze
Mezery nejsou rozmístěny náhodně. Analýza společnosti Mercor naznačuje, že komunita umělé inteligence nejprve srovnávala největší trhy práce – povolání s nejvyššími celkovými mzdovými náklady, vypočítané z odhadů mezd a zaměstnanosti Bureau of Labor Statistics.
Rozdělení práce a rodiny ukazuje, jak nerovnoměrná je pozornost. Počítačová a matematická povolání, která jsou domovem tvorby benchmarků, jsou nejlépe pokryta ve 29 z 36 povolání. Obchodní a finanční operace následují u 33 ze 48. Ale kancelářská a administrativní podpora – rodina, která zaměstnává miliony – má pokryto pouze 21 z 51 povolání a manažerské role 21 z 56.
I v nejlépe pokrytých profesích je hloubka tenká. Když se Mercor pokusil o vážené skóre ONET pro čtyři profese náročné na benchmark – investiční bankovnictví, právo, účetnictví a softwarové inženýrství – zjistil, že méně než jedna třetina úkolů ONET relevantních pro tyto práce má dostatečné pokrytí benchmarkem, aby bylo možné zahrnout do váženého skóre.
Proč na slepých úhlech záleží
Zjištění přistane ve chvíli, kdy výsledky benchmarků řídí skutečná rozhodnutí. Podniky vybírají modelové úrovně na základě hodnocení; desky slyší o pokroku hraničního modelu, pokud jde o skoky v benchmarku; tvůrci politik uvádějí při regulaci vážení trajektorie schopností. Pokud 90 % pracovní doby leží mimo to, co měří měřítka, všechna tato rozhodnutí spočívají na vzorku, který je zkreslený směrem k kancelářským, technickým a akademickým.
Existují strukturální důvody, proč se benchmarky shlukují tam, kde jsou. Úlohy softwarového inženýrství jsou levné na specifikaci, levné na automatické hodnocení a pro autory benchmarků – kteří většinou píší software – je snadné navrhnout. Posouzení chování zdravotního asistenta u lůžka, úsudek koordinátora logistiky pod měnícími se omezeními nebo diagnostický proces elektrikáře je obtížnější standardizovat, hůře se ověřuje na dálku a v mnoha případech je nemožné otestovat bez fyzické přítomnosti.
Společnost Mercor, jejíž hlavní obchodní činnost spojuje odborníky na domény s laboratořemi AI pro školení a hodnocení, má zjevný komerční zájem na tom, aby poukázala na to, že pokrytí hodnocením je slabé – společnost prodává přístup přesně těm odborníkům, kteří by mohli tuto mezeru zacelit. Ale základní problém měření je skutečný a stále více uznáván napříč oborem a společnost zveřejnila svou metodiku a úplný seznam benchmarků ke kontrole.
Společnost říká, že její mapa srovnávacích testů je prvním krokem k neustále aktualizovanému zdroji pro pochopení schopností umělé inteligence v celé ekonomice a pracuje na vážených modelových skóre O*NET, které váží každý pracovní úkol stejně, než aby často porovnávané úkoly dominovaly průměru.
Dekáda měření
Co se stane dál, závisí na tom, zda tvůrci benchmarků postupují podle ekonomické mapy. Údaje společnosti Mercor ukazují, kde chybí pokrytí – a implicitně, kde by nové benchmarky měly největší informační hodnotu. Povolání s velkou zaměstnaností, vysokými mzdovými náklady a nulovým pokrytím srovnávacími testy jsou ve skutečnosti otevřeným hodnotícím územím.
Pro každého, kdo konzumuje zprávy z žebříčku AI, je prozatím praktické upozornění: profil benchmarků modelu popisuje jeho silné stránky v části ekonomiky, kterou benchmarky náhodou pokrývají. Zbývajících 90 % pracovní doby – administrativa, péče, terénní služba, správa podlaží – zůstává z velké části neměřeným územím a tvrzení o její transformaci AI v současnosti spočívají spíše na anekdotě než na důkazech.
Jak uvádí vlastní struktura společnosti, referenční hodnoty se v posledních letech znásobily, ale pokrytí ekonomicky hodnotné práce zůstává omezené. Na mapě je toto omezení viditelné, dílek po dílku, obsazení po povolání.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
