Las tablas de clasificación de IA cuentan una historia notablemente detallada sobre qué tan bien los modelos escriben código, resuelven problemas matemáticos y responden exámenes de posgrado. Lo que casi nunca dicen es qué tan bien los modelos realizan el trabajo por el que se les paga a la mayoría de los estadounidenses.
Un nuevo proyecto de investigación del mercado de talentos de IA Mercor pone una cifra a esa brecha. Según el Benchmark Map de la compañía, publicado esta semana, aproximadamente el 90% de las horas de trabajo estadounidenses se dedican a tareas con poca o ninguna cobertura de los puntos de referencia de IA existentes. Para más contexto sobre esta historia, consulta nuestra noticias de IA.
"Esto hace que sea muy difícil saber qué tan buenos son los modelos de IA en el trabajo que realmente hacen los estadounidenses", escribe la compañía en sus hallazgos.
Contando lo que los puntos de referencia omiten
Para construir el mapa, Mercor compiló un índice de 29 puntos de referencia seleccionados por su calidad y relevancia económica, luego comparó sus indicaciones con la base de datos ocupacionales O*NET del gobierno de EE. UU.: la taxonomía estándar de 923 ocupaciones y 18.797 tareas distintas que componen la fuerza laboral estadounidense.
Las cifras de cobertura son crudas. Sólo 208 de 923 ocupaciones O*NET tienen alguna cobertura de referencia, y sólo 924 de 18,797 tareas ocupacionales están representadas en todo el índice.
La metodología, documentada en el sitio del proyecto, se basa en la propia IA: tras una investigación reciente, un juez de LLM etiqueta cada mensaje de referencia con las tareas ONET a las que corresponde, y el etiquetado se valida con etiquetas de expertos humanos en el subconjunto de referencia APEX de Mercor. Una tarea cuenta como cubierta solo si el juez la asigna a al menos cinco indicaciones del índice de 29 puntos de referencia. Para traducir la cobertura en términos económicos, Mercor combinó sus estimaciones con estimaciones derivadas de LLM publicadas recientemente sobre la participación del tiempo de trabajo de cada tarea ONET.
La cobertura sigue al dinero
Las brechas no están distribuidas al azar. El análisis de Mercor sugiere que la comunidad de IA ha estado comparando primero los mercados laborales más grandes: las ocupaciones con las mayores masas salariales totales, calculadas a partir de estimaciones de salarios y empleo de la Oficina de Estadísticas Laborales.
El desglose entre trabajo y familia muestra cuán desigual es la atención. Las ocupaciones informáticas y matemáticas, el terreno de origen de la creación de referencias, son las mejor cubiertas con 29 de 36 ocupaciones. Le siguen las operaciones comerciales y financieras con 33 de 48. Pero el apoyo administrativo y de oficina (una familia que emplea a millones) tiene sólo 21 de 51 ocupaciones cubiertas, y las funciones gerenciales 21 de 56.
Incluso en las profesiones mejor cubiertas, la profundidad es escasa. Cuando Mercor intentó obtener una puntuación ponderada por ONET para cuatro ocupaciones con muchos puntos de referencia (banca de inversión, derecho, contabilidad e ingeniería de software) descubrió que menos de un tercio de las tareas ONET relevantes para esos puestos de trabajo tenían suficiente cobertura de referencia para ser incluidas en una puntuación ponderada.
Por qué son importantes los puntos ciegos
El hallazgo llega en un momento en el que las puntuaciones de los puntos de referencia impulsan decisiones reales. Las empresas eligen niveles de modelo basándose en evaluaciones; los directorios se enteran del progreso del modelo de frontera en términos de saltos de referencia; los formuladores de políticas citan trayectorias de capacidad al sopesar la regulación. Si el 90% de las horas de trabajo se encuentran fuera de lo que miden los puntos de referencia, todas esas decisiones se basan en una muestra sesgada hacia la oficina, lo técnico y lo académico.
Hay razones estructurales por las que los puntos de referencia se agrupan donde lo hacen. Las tareas de ingeniería de software son baratas de especificar, baratas de calificar automáticamente y fáciles de diseñar para los autores de referencias (que en su mayoría escriben software). Evaluar el trato de un asistente médico, el juicio de un coordinador de logística bajo restricciones cambiantes o el proceso de diagnóstico de un electricista es más difícil de estandarizar, más difícil de verificar de forma remota y, en muchos casos, imposible de realizar pruebas sin presencia física.
Mercor, cuyo negocio principal une a expertos en el campo con laboratorios de inteligencia artificial para trabajos de capacitación y evaluación, tiene un interés comercial obvio en señalar que la cobertura de evaluación es escasa: la compañía vende acceso exactamente a los expertos que podrían cerrar esa brecha. Pero el problema de medición subyacente es real y cada vez más reconocido en todo el campo, y la compañía publicó su metodología y su lista completa de puntos de referencia para su escrutinio.
La compañía dice que su Benchmark Map es un primer paso hacia un recurso continuamente actualizado para comprender las capacidades de IA en toda la economía, y está trabajando para lograr puntajes de modelos ponderados por O*NET que ponderen cada tarea ocupacional por igual en lugar de permitir que las tareas frecuentemente comparadas dominen el promedio.
La Década de la Medición
Lo que suceda a continuación depende de si los creadores de índices de referencia siguen el mapa económico. Los datos de Mercor señalan dónde falta cobertura e, implícitamente, dónde los nuevos puntos de referencia tendrían el mayor valor informativo. Las ocupaciones con gran cantidad de empleo, costos salariales elevados y cobertura de referencia nula son, de hecho, territorio de evaluación abierto.
Por ahora, la conclusión práctica para cualquiera que consuma noticias sobre las clasificaciones de IA es una advertencia: el perfil de referencia de un modelo describe sus fortalezas en la porción de la economía que las referencias cubren. El otro 90% de las horas de trabajo (el trabajo administrativo, el cuidado, el servicio de campo, la gestión de piso) sigue siendo en gran medida un territorio no medido, y las afirmaciones de que la IA lo está transformando actualmente se basan más en anécdotas que en evidencia.
Como lo expresa la propia empresa, los puntos de referencia se han multiplicado en los últimos años, pero la cobertura de trabajos económicamente valiosos sigue siendo limitada. El mapa hace visible esa limitación, mosaico por mosaico, ocupación por ocupación.
---
Mantente al Día con la IALas últimas noticias, análisis y avances de inteligencia artificial, en un solo lugar.
Leer más noticias de IA →
