Os placares de IA contam uma história extremamente detalhada sobre como os modelos escrevem códigos, resolvem problemas matemáticos e respondem a exames de pós-graduação. O que quase nunca dizem é quão bem os modelos realizam o trabalho para o qual a maioria dos americanos é paga.
Um novo projeto de pesquisa do mercado de talentos de IA Mercor atribui um número a essa lacuna. De acordo com o Benchmark Map da empresa, publicado esta semana, cerca de 90% das horas de trabalho americanas são gastas em tarefas com pouca ou nenhuma cobertura dos benchmarks de IA existentes. Para mais contexto sobre esta história, confira nossa notícias de IA.
“Isso torna muito difícil saber até que ponto os modelos de IA são bons no trabalho que os americanos realmente fazem”, escreve a empresa em suas descobertas.
Contando o que os benchmarks perdem
Para construir o mapa, a Mercor compilou um índice de 29 valores de referência seleccionados em termos de qualidade e relevância económica, depois mapeou as suas sugestões em relação à base de dados ocupacional O*NET do governo dos EUA – a taxonomia padrão de 923 profissões e 18.797 tarefas distintas que compõem a força de trabalho americana.
Os números de cobertura são nítidos. Apenas 208 das 923 ocupações da O*NET têm alguma cobertura de referência, e apenas 924 das 18.797 tarefas ocupacionais estão representadas em todo o índice.
A metodologia, documentada no site do projeto, baseia-se na própria IA: seguindo pesquisas recentes, um juiz LLM marca cada prompt de benchmark com as tarefas ONET a que corresponde, com a marcação validada contra rótulos de especialistas humanos no próprio subconjunto de benchmark APEX da Mercor. Uma tarefa conta como coberta somente se o juiz a mapear para pelo menos cinco prompts do índice de 29 pontos de referência. Para traduzir a cobertura em termos económicos, a Mercor combinou as suas estimativas com estimativas recentemente publicadas derivadas do LLM sobre a quota de tempo de trabalho de cada tarefa ONET.
A cobertura segue o dinheiro
As lacunas não são distribuídas aleatoriamente. A análise da Mercor sugere que a comunidade de IA tem vindo a avaliar primeiro os maiores mercados de trabalho – as profissões com as maiores massas salariais totais, calculadas a partir das estimativas salariais e de emprego do Bureau of Labor Statistics.
A divisão trabalho-família mostra quão desigual é a atenção. As ocupações de informática e matemática, o território da criação de benchmarks, são as mais bem cobertas em 29 das 36 ocupações. As operações comerciais e financeiras seguem-se em 33 de 48. Mas o apoio administrativo e de escritório – uma família que emprega milhões – tem apenas 21 de 51 ocupações abrangidas, e funções de gestão 21 de 56.
Mesmo nas profissões mais bem cobertas, a profundidade é escassa. Quando a Mercor tentou a pontuação ponderada da ONET para quatro profissões de referência pesada – banca de investimento, direito, contabilidade e engenharia de software – descobriu que menos de um terço das tarefas da ONET relevantes para esses empregos tinham cobertura de referência suficiente para serem incluídas numa pontuação ponderada.
Por que os pontos cegos são importantes
A descoberta chega num momento em que as pontuações dos benchmarks orientam decisões reais. As empresas escolhem níveis de modelo com base em avaliações; os conselhos ouvem falar do progresso do modelo de fronteira em termos de saltos nos benchmarks; os decisores políticos citam trajetórias de capacidade ao avaliar a regulamentação. Se 90% das horas de trabalho ficam fora do que os benchmarks medem, todas essas decisões baseiam-se numa amostra inclinada para o profissional, o técnico e o académico.
Existem razões estruturais para que os benchmarks se agrupem onde o fazem. As tarefas de engenharia de software são baratas para especificar, baratas para avaliar automaticamente e fáceis para os autores de benchmark – que em sua maioria escrevem software – projetarem. Avaliar a atitude de um assistente médico ao lado do leito, o julgamento de um coordenador de logística sob restrições variáveis ou o processo de diagnóstico de um eletricista é mais difícil de padronizar, mais difícil de verificar remotamente e, em muitos casos, impossível de testar sem presença física.
A Mercor, cujo negócio principal combina especialistas de domínio com laboratórios de IA para treinamento e trabalho de avaliação, tem um interesse comercial óbvio em apontar que a cobertura da avaliação é escassa – a empresa vende acesso exatamente aos especialistas que poderiam preencher essa lacuna. Mas o problema de medição subjacente é real e cada vez mais reconhecido em todo o campo, e a empresa publicou a sua metodologia e a lista completa de benchmarks para análise.
A empresa afirma que o seu Mapa de Benchmark é um primeiro passo em direção a um recurso continuamente atualizado para a compreensão das capacidades de IA em toda a economia, e está trabalhando para obter pontuações de modelo ponderadas pela O*NET que ponderem cada tarefa ocupacional igualmente, em vez de permitir que tarefas frequentemente avaliadas como benchmark dominem a média.
A Década da Medição
O que acontece a seguir depende de os construtores de benchmark seguirem o mapa económico. Os dados do Mercor apontam para onde falta cobertura — e, implicitamente, onde novos parâmetros de referência teriam maior valor informativo. As profissões com grande emprego, massa salarial elevada e zero cobertura de referência são, na verdade, território de avaliação aberto.
Por enquanto, a conclusão prática para quem consome notícias sobre tabelas de classificação de IA é uma advertência: o perfil de benchmark de um modelo descreve seus pontos fortes na fatia da economia que os benchmarks cobrem. Os outros 90% das horas de trabalho – o trabalho administrativo, o cuidado, o serviço de campo, a gestão de chão de fábrica – continuam a ser um território em grande parte não medido, e as alegações de que a IA o está a transformar baseiam-se atualmente mais em anedotas do que em provas.
Tal como afirma o próprio enquadramento da empresa, os benchmarks multiplicaram-se nos últimos anos, mas a cobertura de trabalhos economicamente valiosos permanece limitada. O mapa torna essa limitação visível, bloco por bloco, ocupação por ocupação.
---
Fique à Frente da IAAs últimas notícias, análises e avanços em inteligência artificial — tudo em um só lugar.
Ler mais notícias de IA →
