Таблиці лідерів зі штучним інтелектом розповідають надзвичайно детальну історію про те, як добре моделі пишуть код, вирішують математичні задачі та відповідають на іспити для випускників. Вони майже ніколи не розповідають вам, наскільки добре моделі виконують роботу, за яку насправді платять більшість американців.
У новому дослідницькому проекті ринку талантів штучного інтелекту Mercor ця прогалина підраховується. Згідно з опублікованою цього тижня компанією Benchmark Map, приблизно 90% робочого часу в США витрачається на завдання, які не охоплюють або не охоплюють існуючі тести AI. For more context on this story, see our ongoing AI news.
«З-за цього дуже важко зрозуміти, наскільки добре моделі штучного інтелекту в роботі, яку насправді виконують американці», — пише компанія у своїх висновках.
Підрахунок того, що тести пропускають
Щоб побудувати карту, Mercor склав індекс із 29 контрольних показників, відібраних за якістю та економічною відповідністю, а потім зіставив їхні підказки з базою даних професій O*NET уряду США — стандартною таксономією 923 професій і 18 797 окремих завдань, які складають американську робочу силу.
Цифри охоплення є разючими. Лише 208 із 923 професій O*NET узагалі охоплені контрольним показником, і лише 924 із 18 797 професійних завдань представлені в усьому індексі.
Методологія, задокументована на сайті проекту, спирається на сам штучний інтелект: після нещодавнього дослідження суддя LLM позначає кожну підказку тесту завданнями ONET, яким вона відповідає, при цьому теги перевіряються на мітки експертів у власній підмножині тестів Mercor APEX. Завдання вважається виконаним, лише якщо суддя зіставляє його з принаймні п’ятьма підказками з індексу 29 тестів. Щоб перевести охоплення в економічні терміни, Mercor поєднав свої оцінки з нещодавно опублікованими LLM оцінками частки робочого часу для кожного завдання ONET.
Покриття слідує за грошима
Прогалини не розподілені випадковим чином. Аналіз Mercor показує, що спільнота штучного інтелекту спочатку порівнювала найбільші ринки праці — професії з найбільшим загальним фондом заробітної плати, розрахованим на основі оцінок заробітної плати та зайнятості Бюро статистики праці.
Розпад роботи та сім’ї показує, наскільки нерівномірною є увага. Комп’ютерні та математичні професії, головна сфера створення еталонних показників, найкраще охоплені у 29 із 36 професій. Далі йдуть ділові та фінансові операції в 33 із 48. Але офісна та адміністративна допомога — сім’я, у якій працюють мільйони — охоплює лише 21 із 51 професії, а управлінські ролі — 21 із 56.
Навіть у найкращих професіях глибини мало. Коли компанія Mercor спробувала зважити ONET для чотирьох професій, які потребують важких тестів — інвестиційної банківської справи, юриспруденції, бухгалтерського обліку та розробки програмного забезпечення — виявилося, що менше однієї третини завдань ONET, пов’язаних із цими роботами, мали достатній контрольний показник, щоб бути включеними до зваженої оцінки.
Чому сліпі плями важливі
Відкриття стає очевидним у той момент, коли результати тестів дають змогу приймати реальні рішення. Підприємства вибирають рівні моделей на основі оцінок; дошки дізнаються про прогрес передової моделі з точки зору стрибків тестів; політики посилаються на траєкторії можливостей, зважуючи регулювання. Якщо 90% робочого часу виходить за межі контрольних показників, усі ці рішення ґрунтуються на вибірці, спрямованій у бік офісного, технічного та академічного.
Існують структурні причини, через які тести групуються там, де вони є. Завдання розробки програмного забезпечення недорого визначити, недорого оцінити автоматично, і їх легко розробити для авторів тестів, які здебільшого пишуть програмне забезпечення. Оцінку поведінки фельдшера біля ліжка, судження координатора логістики в умовах змінних обмежень або діагностичний процес електрика важче стандартизувати, важче перевірити дистанційно, а в багатьох випадках неможливо перевірити без фізичної присутності.
Mercor, чий основний бізнес зв’язує експертів із домену з лабораторіями штучного інтелекту для навчання та оцінювання, має очевидний комерційний інтерес, зазначаючи, що охоплення оцінювання є слабким — компанія продає доступ саме тим експертам, які могли б усунути цю прогалину. Але основна проблема вимірювання реальна і все більше визнається в усіх сферах, і компанія опублікувала свою методологію та повний список контрольних показників для ретельного вивчення.
Компанія каже, що її Benchmark Map є першим кроком до постійно оновлюваного ресурсу для розуміння можливостей штучного інтелекту в економіці, і вона працює над досягненням O*NET-зважених показників моделі, які однаково зважують кожне професійне завдання, а не дозволяють завданням, які часто перевіряються, домінувати над середніми.
Десятиліття вимірювань
Що буде далі, залежить від того, чи дотримуються будівельники бенчмарків економічної карти. Дані Mercor вказують на те, де охоплення відсутнє — і, неявно, де нові контрольні показники матимуть найбільшу інформаційну цінність. Професії з великою зайнятістю, високими фондами заробітної плати та нульовим базовим охопленням фактично є відкритою територією оцінювання.
Наразі практичний висновок для тих, хто читає новини про таблицю лідерів штучного інтелекту, полягає в застереженні: еталонний профіль моделі описує її сильні сторони в тій частині економіки, яку охоплюють еталонні тести. Інші 90% робочого часу — адміністраторська робота, догляд, польове обслуговування, управління поверхами — залишаються здебільшого невиміряною територією, і заяви про те, що штучний інтелект трансформує її, наразі базуються більше на анекдотах, ніж на доказах.
Як стверджує власна структура компанії, за останні роки контрольні показники зросли в рази, але охоплення економічно цінної роботи залишається обмеженим. Карта робить це обмеження видимим, плитку за плиткою, окупацію за професією.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
