Tabele wyników AI przedstawiają niezwykle szczegółową historię o tym, jak dobrze modele piszą kod, rozwiązują problemy matematyczne i zdają egzaminy na poziomie magisterskim. Prawie nigdy ci nie mówią, jak dobrze modelki wykonują pracę, za którą tak naprawdę płaci się większości Amerykanów.

Nowy projekt badawczy prowadzony przez Mercor, rynek talentów AI, podaje liczby dotyczące tej luki. Według opublikowanej w tym tygodniu firmy Benchmark Map około 90% godzin pracy w Ameryce spędza się na zadaniach, które nie są objęte istniejącymi testami porównawczymi sztucznej inteligencji lub są w niewielkim stopniu pokrywane w ogóle. Więcej kontekstu na ten temat znajdziesz w naszych najnowsze osiągnięcia AI.

„To sprawia, że ​​bardzo trudno jest stwierdzić, jak dobre modele sztucznej inteligencji sprawdzają się w pracy, którą faktycznie wykonują Amerykanie” – pisze firma w swoich ustaleniach.

Liczenie tego, czego brakuje w testach porównawczych

Aby stworzyć mapę, Mercor sporządził indeks 29 wskaźników wybranych pod kątem jakości i znaczenia gospodarczego, a następnie porównał ich podpowiedzi z bazą danych zawodów O*NET rządu USA — standardową taksonomią obejmującą 923 zawody i 18 797 odrębnych zadań, które składają się na amerykańską siłę roboczą.

Liczby zasięgu są porażające. Tylko 208 z 923 zawodów O*NET jest w ogóle objętych benchmarkiem, a w całym indeksie reprezentowanych jest zaledwie 924 z 18 797 zawodów zawodowych.

Metodologia, udokumentowana na stronie projektu, opiera się na samej sztucznej inteligencji: po niedawnych badaniach sędzia LLM oznacza każdy znak odniesienia zadaniami ONET, którym odpowiada, przy czym znaczniki są weryfikowane w oparciu o etykiety ekspertów we własnym podzbiorze testów porównawczych APEX firmy Mercor. Zadanie liczy się jako zrealizowane tylko wtedy, gdy sędzia przyporządkuje je do co najmniej pięciu podpowiedzi z indeksu 29 punktów odniesienia. Aby przełożyć zasięg na warunki ekonomiczne, Mercor połączył swoje szacunki z niedawno opublikowanymi szacunkami LLM dotyczącymi udziału czasu pracy w każdym zadaniu ONET.

Ochrona podąża za pieniędzmi

Luki nie są rozmieszczone losowo. Analiza Mercor sugeruje, że społeczność sztucznej inteligencji najpierw porównała największe rynki pracy – zawody z najwyższymi łącznymi funduszami płac, obliczonymi na podstawie szacunków wynagrodzeń i zatrudnienia Biura Statystyki Pracy.

Podział praca-rodzina pokazuje, jak nierówna jest uwaga. Zawody komputerowe i matematyczne, będące głównym obszarem tworzenia wzorców porównawczych, są najlepiej uwzględnione w 29 z 36 zawodów. Operacje biznesowe i finansowe zajmują 33 z 48 pozycji. Jednak wsparcie biurowe i administracyjne – rodzina zatrudniająca miliony – obejmuje tylko 21 z 51 zawodów, a stanowiska kierownicze 21 z 56.

Nawet w najlepiej znanych zawodach głębokość jest niewielka. Kiedy firma Mercor próbowała uzyskać punktację ważoną ONET dla czterech zawodów wymagających dużej liczby punktów odniesienia – bankowości inwestycyjnej, prawa, księgowości i inżynierii oprogramowania – odkryła, że ​​mniej niż jedna trzecia zadań ONET związanych z tymi stanowiskami miała wystarczający zakres punktów odniesienia, aby można je było uwzględnić w wyniku ważonym.

Dlaczego martwe punkty mają znaczenie

Odkrycie pojawia się w momencie, gdy wyniki testów porównawczych wpływają na rzeczywiste decyzje. Przedsiębiorstwa wybierają poziomy modeli na podstawie ocen; zarządy słyszą o postępie modelu pionierskiego w zakresie skoków wzorcowych; Przy ocenie regulacji decydenci cytują trajektorie zdolności. Jeśli 90% godzin pracy wykracza poza zakres mierzony przez benchmarki, wszystkie te decyzje opierają się na próbie skupiającej się na pracy biurowej, technicznej i akademickiej.

Istnieją strukturalne powody, dla których benchmarki skupiają się tam, gdzie się znajdują. Zadania inżynierii oprogramowania są tanie w określeniu, tanie w automatycznej ocenie i łatwe do zaprojektowania dla autorów testów porównawczych — którzy głównie piszą oprogramowanie. Ocena sposobu, w jaki asystent medyczny pracuje przy łóżku pacjenta, ocena koordynatora ds. logistyki w obliczu zmieniających się ograniczeń lub proces diagnostyczny elektryka są trudniejsze do ujednolicenia, trudniejsze do zweryfikowania na odległość, a w wielu przypadkach niemożliwe do przetestowania bez fizycznej obecności.

Mercor, którego podstawowa działalność łączy ekspertów dziedzinowych z laboratoriami sztucznej inteligencji do celów szkoleniowych i ewaluacyjnych, ma oczywisty interes komercyjny w wskazaniu, że zasięg oceny jest niewielki — firma sprzedaje dostęp dokładnie tym ekspertom, którzy mogliby wypełnić tę lukę. Jednak leżący u podstaw problem związany z pomiarami jest realny i coraz bardziej uznawany w całej dziedzinie, dlatego firma opublikowała swoją metodologię i pełną listę punktów odniesienia do kontroli.

Firma twierdzi, że jej mapa porównawcza to pierwszy krok w kierunku stale aktualizowanego zasobu umożliwiającego zrozumienie możliwości sztucznej inteligencji w całej gospodarce i pracuje nad wynikami modelu ważonymi O*NET, które równomiernie ważą każde zadanie zawodowe, zamiast pozwalać, aby często poddawane testom porównawczym zadania dominowały w średniej.

Dekada pomiarów

To, co stanie się dalej, zależy od tego, czy twórcy benchmarków będą podążać za mapą gospodarczą. Dane Mercoru wskazują, gdzie brakuje zasięgu – i pośrednio, gdzie nowe punkty odniesienia będą miały największą wartość informacyjną. Zawody charakteryzujące się dużym zatrudnieniem, wysokimi wynagrodzeniami i zerowym pokryciem punktów odniesienia są w efekcie otwartym obszarem oceny.

Na razie praktyczny wniosek dla każdego, kto czyta wiadomości z rankingów AI, to zastrzeżenie: profil porównawczy modelu opisuje jego mocne strony w wycinku gospodarki, którego akurat dotyczą benchmarki. Pozostałe 90% godzin pracy – praca administracyjna, opieka, praca w terenie, kierownictwo piętra – pozostaje w dużej mierze niezmierzonym obszarem, a twierdzenia o transformacji AI opierają się obecnie bardziej na anegdotach niż na dowodach.

Jak to ujmuje sama firma, w ostatnich latach pomnożono punkty odniesienia, ale zakres prac wartościowych ekonomicznie pozostaje ograniczony. Mapa uwidacznia to ograniczenie, płytka po płytce, zawód za zajęciem.

---

Bądź na Bieżąco z AI

Najnowsze wiadomości, analizy i przełomy w dziedzinie AI — wszystko w jednym miejscu.

Czytaj więcej wiadomości AI →