Таблицы лидеров ИИ рассказывают удивительно подробную историю о том, насколько хорошо модели пишут код, решают математические задачи и отвечают на выпускные экзамены. Чего они вам почти никогда не говорят, так это того, насколько хорошо модели выполняют работу, за которую на самом деле платят большинству американцев.
Новый исследовательский проект на рынке талантов в сфере искусственного интеллекта Mercor позволяет восполнить этот пробел. Согласно эталонной карте компании, опубликованной на этой неделе, примерно 90% рабочего времени американцев тратится на задачи, практически не охватываемые существующими тестами ИИ. Подробнее об этой истории — в нашем тенденции ИИ.
«Из-за этого очень сложно понять, насколько хороши модели ИИ в той работе, которую на самом деле выполняют американцы», — пишет компания в своих выводах.
Подсчет того, что упускают тесты
Чтобы построить карту, компания Mercor составила индекс из 29 критериев, выбранных по качеству и экономической значимости, а затем сопоставила их результаты с базой данных профессий правительства США O*NET — стандартной таксономией 923 профессий и 18 797 отдельных задач, составляющих американскую рабочую силу.
Цифры покрытия впечатляют. Только 208 из 923 профессий O*NET вообще имеют какой-либо эталонный охват, и только 924 из 18 797 профессиональных задач представлены во всем индексе.
Методология, описанная на сайте проекта, опирается на сам искусственный интеллект: после недавнего исследования судья LLM помечает каждое тестовое приглашение соответствующими задачами ONET, при этом метки проверяются на соответствие экспертным меткам в собственном подмножестве тестов APEX компании Mercor. Задача считается пройденной только в том случае, если судья сопоставляет ее как минимум с пятью подсказками из 29 контрольных показателей. Чтобы перевести охват в экономические термины, Mercor объединила свои оценки с недавно опубликованными оценками доли рабочего времени для каждой задачи ONET, полученными на основе LLM.
Страхование следует за деньгами
Пробелы распределены не случайно. Анализ Mercor показывает, что сообщество искусственного интеллекта в первую очередь оценивает крупнейшие рынки труда — профессии с самыми большими совокупными фондами заработной платы, рассчитанными на основе оценок заработной платы и занятости Бюро статистики труда.
Разрыв между работой и семьей показывает, насколько неравномерно внимание. Компьютерные и математические профессии, родина создания тестов, лучше всего охвачены в 29 из 36 профессий. Далее следуют деловые и финансовые операции в 33 из 48. Но офисная и административная поддержка — семья, в которой работают миллионы — охватывает только 21 профессию из 51, а управленческие должности — 21 из 56.
Даже в наиболее освещенных профессиях глубина невелика. Когда компания Mercor попыталась оценить с помощью ONET взвешенную оценку для четырех профессий, требующих большого количества тестов (инвестиционный банкинг, юриспруденция, бухгалтерский учет и разработка программного обеспечения), она обнаружила, что менее одной трети задач ONET, имеющих отношение к этим должностям, имели достаточный эталонный охват, чтобы быть включенными во взвешенную оценку.
Почему «слепые зоны» так важны
Это открытие произошло в тот момент, когда контрольные оценки определяют реальные решения. Предприятия выбирают уровни модели на основе оценок; советы директоров узнают о прогрессе передовой модели с точки зрения скачков показателей; политики ссылаются на траектории потенциала при взвешивании регулирования. Если 90% рабочего времени не соответствует показателям, которые измеряются контрольными показателями, все эти решения основаны на выборке, смещенной в сторону офисной, технической и академической работы.
Есть структурные причины, по которым эталонные показатели группируются там, где они есть. Задачи по разработке программного обеспечения дешевы в определении, дешевы в автоматической оценке и просты в проектировании для авторов тестов, которые в основном пишут программное обеспечение. Оценку поведения фельдшера у постели больного, решения координатора по логистике в условиях меняющихся ограничений или диагностический процесс электрика труднее стандартизировать, труднее проверить удаленно, а во многих случаях невозможно проверить без физического присутствия.
Mercor, чей основной бизнес объединяет экспертов в предметной области с лабораториями искусственного интеллекта для обучения и оценки, имеет очевидный коммерческий интерес, указывая на то, что охват оценкой невелик — компания продает доступ именно к тем экспертам, которые могли бы закрыть этот пробел. Но основная проблема измерения реальна и все чаще признается во всей отрасли, и компания опубликовала свою методологию и полный список контрольных показателей для изучения.
Компания заявляет, что ее эталонная карта является первым шагом на пути к постоянно обновляемому ресурсу для понимания возможностей ИИ в экономике, и она работает над взвешенными по O*NET оценками модели, которые одинаково взвешивают каждую профессиональную задачу, а не позволяют часто оцениваемым задачам доминировать над средним показателем.
Десятилетие измерений
Что произойдет дальше, зависит от того, следуют ли создатели эталонных показателей экономической карте. Данные Mercor указывают на то, где отсутствует охват – и, косвенно, где новые критерии будут иметь наибольшую информационную ценность. Профессии с большой занятостью, высокими фондами заработной платы и нулевым контрольным охватом, по сути, являются открытой территорией оценки.
На данный момент практическим выводом для всех, кто читает новости из списка лидеров ИИ, является предостережение: профиль модели описывает ее сильные стороны в той части экономики, которую охватывают тесты. Остальные 90% рабочего времени — работа администратора, уход, выездное обслуживание, управление этажами — остаются в значительной степени неизмеренной территорией, и заявления о том, что ИИ преобразует их, в настоящее время основаны больше на анекдотах, чем на доказательствах.
Как утверждает сама компания, в последние годы контрольные показатели увеличились, но охват экономически ценных работ остается ограниченным. Карта делает это ограничение видимым, плитка за плиткой, оккупация за оккупацией.
---
Будьте в курсе ИИПоследние новости, аналитика и прорывы в сфере ИИ — всё в одном месте.
Читать больше новостей об ИИ →
