人工智能排行榜讲述了一个非常详细的故事，讲述了模型编写代码、解决数学问题和回答研究生水平考试的能力。他们几乎从不告诉你的是，大多数美国人实际上是受雇做的工作，模特们做得有多好。

人工智能人才市场 Mercor 的一项新研究项目对这一差距进行了统计。根据该公司本周发布的基准地图，大约 90% 的美国人工作时间都花在现有人工智能基准很少或根本没有覆盖的任务上。 更多相关背景，请参阅我们的AI最新动态。

该公司在调查结果中写道：“这使得我们很难知道人工智能模型在美国人实际工作中的表现如何。”

计算基准测试遗漏的内容

为了构建这张地图，Mercor 编制了一个包含 29 个质量和经济相关性基准的指数，然后根据美国政府的 O*NET 职业数据库（构成美国劳动力的 923 种职业和 18,797 种不同任务的标准分类法）绘制它们的提示。

覆盖率数字十分严峻。 923 个 O*NET 职业中只有 208 个具有基准覆盖率，整个指数中 18,797 个职业任务中只有 924 个有代表性。

该项目网站上记录的方法依赖于人工智能本身：根据最近的研究，法学硕士法官用其对应的 ONET 任务标记每个基准提示，并根据 Mercor 自己的 APEX 基准子集上的人类专家标签对标记进行验证。仅当法官将某项任务映射到 29 个基准索引中至少五个提示时，该任务才算完成。为了将覆盖范围转化为经济术语，Mercor 将其估计值与最近发布的法学硕士对每项 ONET 任务的工作时间份额的估计值相结合。

覆盖范围随金钱而变化

间隙不是随机分布的。 Mercor 的分析表明，人工智能社区首先对最大的劳动力市场进行了基准测试——根据美国劳工统计局的工资和就业估算计算得出，工资总额最高的职业。

工作与家庭的细分表明人们的注意力是多么不平衡。计算机和数学职业是基准创建的主场，在 36 个职业中有 29 个是覆盖最好的。商业和金融运营紧随其后，占 48 个职位中的 33 个。但办公室和行政支持（一个拥有数百万雇员的家庭）仅涵盖 51 个职业中的 21 个，而管理职位则占 56 个职位中的 21 个。

即使在覆盖最广的职业中，深度也很薄弱。当 Mercor 尝试对四个基准密集型职业（投资银行、法律、会计和软件工程）进行 ONET 加权评分时，发现与这些工作相关的 ONET 任务中只有不到三分之一具有足够的基准覆盖范围，可以纳入加权分数中。

为什么盲点很重要

这一发现是在基准分数推动真正决策的时刻得出的。企业根据评估选择模型等级；董事会了解到前沿模型在基准跳跃方面的进展；政策制定者在权衡监管时会引用能力轨迹。如果 90% 的工作时间超出了基准衡量的范围，那么所有这些决定都取决于偏向于办公室、技术和学术的样本。

基准测试集中存在结构性原因。软件工程任务的指定成本和自动评分成本都很低，而且对于基准测试作者（主要编写软件）来说设计起来也很容易。评估医疗助理的床边态度、后勤协调员在不断变化的限制下的判断或电工的诊断过程更难以标准化，更难以远程验证，并且在许多情况下无法在没有实际存在的情况下进行测试。

Mercor 的核心业务是将领域专家与 AI 实验室相匹配，进行培训和评估工作，该公司指出评估覆盖范围很薄，这显然具有商业利益——该公司出售的正是能够缩小这一差距的专家的访问权。但潜在的衡量问题是真实存在的，并且越来越受到整个领域的认可，该公司发布了其方法和完整的基准列表以供审查。

该公司表示，其基准地图是朝着不断更新资源以了解整个经济中的人工智能能力迈出的第一步，并且它正在努力制定 O*NET 加权模型分数，对每项职业任务进行平等加权，而不是让频繁的基准任务主导平均水平。

测量十年

接下来会发生什么取决于基准制定者是否遵循经济地图。 Mercor 的数据指出了覆盖范围缺失的地方，并且隐含地指出了新基准将在哪些地方带来最大的信息价值。就业人数多、工资高、基准覆盖率为零的职业实际上是开放的评估领域。

目前，对于任何关注人工智能排行榜新闻的人来说，实际的收获是一个警告：模型的基准概况描述了其在基准恰好涵盖的经济领域中的优势。其他 90% 的工作时间——行政工作、护理、现场服务、楼层管理——在很大程度上仍然是无法衡量的领域，目前有关人工智能改变工作时间的说法更多地基于轶事而不是证据。

正如该公司自己的框架所言，近年来基准已成倍增加，但具有经济价值的工作的覆盖范围仍然有限。地图逐个地块、逐个职业地显示了这一限制。

---

掌握AI最新动态

获取最新的AI新闻、分析和突破——尽在一处。

阅读更多AI新闻 →