Les classements de l'IA racontent une histoire remarquablement détaillée sur la façon dont les modèles écrivent du code, résolvent des problèmes mathématiques et répondent aux examens de niveau supérieur. Ce qu’ils ne vous disent presque jamais, c’est à quel point les mannequins accomplissent le travail pour lequel la plupart des Américains sont réellement payés.

Un nouveau projet de recherche du marché des talents en IA Mercor donne un chiffre à cette lacune. Selon la Benchmark Map de l'entreprise, publiée cette semaine, environ 90 % des heures de travail aux États-Unis sont consacrées à des tâches peu ou pas couvertes par les références d'IA existantes. Pour plus de contexte sur cette histoire, consultez notre actualités IA.

"Cela rend très difficile de savoir dans quelle mesure les modèles d'IA sont efficaces dans le travail que font réellement les Américains", écrit la société dans ses conclusions.

Compter ce qui manque aux benchmarks

Pour construire la carte, Mercor a compilé un index de 29 critères sélectionnés pour leur qualité et leur pertinence économique, puis a comparé leurs invites à la base de données professionnelles O*NET du gouvernement américain – la taxonomie standard de 923 professions et 18 797 tâches distinctes qui composent la main-d’œuvre américaine.

Les chiffres de la couverture médiatique sont frappants. Seules 208 des 923 professions O*NET ont une couverture de référence, et seulement 924 des 18 797 tâches professionnelles sont représentées dans l’ensemble de l’indice.

La méthodologie, documentée sur le site du projet, s'appuie sur l'IA elle-même : à la suite de recherches récentes, un juge LLM marque chaque invite de référence avec les tâches ONET auxquelles elle correspond, le marquage étant validé par rapport aux étiquettes d'experts humains sur le sous-ensemble de référence APEX de Mercor. Une tâche compte comme couverte uniquement si le juge la mappe à au moins cinq invites de l'index de 29 références. Pour traduire la couverture en termes économiques, Mercor a combiné ses estimations avec des estimations récemment publiées de la part du temps de travail de chaque tâche ONET, dérivées du LLM.

La couverture suit l'argent

Les écarts ne sont pas répartis au hasard. L'analyse de Mercor suggère que la communauté de l'IA a d'abord évalué les plus grands marchés du travail – les professions avec la masse salariale totale la plus élevée, calculée à partir des estimations des salaires et de l'emploi du Bureau of Labor Statistics.

La répartition emploi-famille montre à quel point l’attention est inégale. Les métiers de l'informatique et des mathématiques, terrain de prédilection de la création de références, sont les mieux couverts dans 29 des 36 métiers. Les opérations commerciales et financières suivent avec 33 sur 48. Mais le soutien de bureau et administratif – une famille qui emploie des millions de personnes – ne couvre que 21 des 51 professions, et les rôles de direction 21 sur 56.

Même dans les professions les mieux couvertes, la profondeur est mince. Lorsque Mercor a tenté une notation pondérée ONET pour quatre professions à forte densité de référence (banque d'investissement, droit, comptabilité et génie logiciel), elle a constaté que moins d'un tiers des tâches ONET pertinentes pour ces emplois avaient une couverture de référence suffisante pour être incluses dans une note pondérée.

Pourquoi les angles morts sont importants

Cette découverte arrive à un moment où les scores de référence déterminent les décisions réelles. Les entreprises sélectionnent les niveaux de modèles en fonction des évaluations ; les conseils d’administration entendent parler des progrès du modèle frontière en termes de sauts de référence ; les décideurs politiques citent les trajectoires de capacités lorsqu’ils évaluent la réglementation. Si 90 % des heures de travail se situent en dehors de ce que mesurent les critères, toutes ces décisions reposent sur un échantillon biaisé en faveur du bureau, du technique et du universitaire.

Il y a des raisons structurelles pour lesquelles les références se regroupent là où elles se trouvent. Les tâches de génie logiciel sont peu coûteuses à spécifier, peu coûteuses à noter automatiquement et faciles à concevoir pour les auteurs de référence – qui écrivent principalement des logiciels. L'évaluation de l'attitude d'un assistant médical au chevet du patient, du jugement d'un coordinateur logistique face à des contraintes changeantes ou du processus de diagnostic d'un électricien est plus difficile à normaliser, plus difficile à vérifier à distance et, dans de nombreux cas, impossible à tester sans présence physique.

Mercor, dont l'activité principale associe des experts du domaine à des laboratoires d'IA pour des travaux de formation et d'évaluation, a un intérêt commercial évident à souligner que la couverture de l'évaluation est limitée : l'entreprise vend l'accès aux experts qui pourraient combler cet écart. Mais le problème de mesure sous-jacent est réel et de plus en plus reconnu dans le domaine, et la société a publié sa méthodologie et sa liste complète de références pour examen.

L'entreprise affirme que sa carte de référence est une première étape vers une ressource continuellement mise à jour pour comprendre les capacités de l'IA dans l'ensemble de l'économie, et elle travaille à l'obtention de scores de modèle pondérés par O*NET qui pondèrent de manière égale chaque tâche professionnelle plutôt que de laisser les tâches fréquemment évaluées dominer la moyenne.

La décennie de la mesure

Ce qui se passera ensuite dépendra de la question de savoir si les constructeurs de référence suivront ou non la carte économique. Les données de Mercor indiquent les domaines où la couverture est manquante et, implicitement, les domaines dans lesquels de nouveaux points de référence apporteraient le plus de valeur informative. Les professions avec un nombre important d’emplois, une masse salariale élevée et une couverture de référence nulle sont, en fait, un territoire d’évaluation ouvert.

Pour l’instant, le point pratique à retenir pour quiconque consulte l’actualité du classement de l’IA est une mise en garde : le profil de référence d’un modèle décrit ses atouts dans la tranche de l’économie couverte par les références. Les 90 % restants des heures de travail – le travail administratif, les soins, le service sur le terrain, la gestion d'étage – restent un territoire largement non mesuré, et les affirmations selon lesquelles l'IA la transformerait reposent actuellement davantage sur des anecdotes que sur des preuves.

Comme le dit le cadre de l'entreprise, les références se sont multipliées ces dernières années, mais la couverture des travaux à valeur économique reste limitée. La carte rend cette limitation visible, tuile par tuile, occupation par occupation.

---

Restez à la Pointe de l'IA

Les dernières actualités, analyses et percées en IA — au même endroit.

Lire plus d'actualités IA →