AI リーダーボードは、モデルがどのようにコードを記述し、数学の問題を解決し、大学院レベルの試験に解答するかについて、驚くほど詳細なストーリーを伝えます。彼らがほとんど教えてくれないのは、ほとんどのアメリカ人が実際に報酬をもらっている仕事をモデルがどれほどうまくこなしているかということだ。

AI 人材市場の Mercor が行った新しい研究プロジェクトは、そのギャップについて数値を示しています。今週発表された同社のベンチマークマップによると、米国の労働時間の約90％は、既存のAIベンチマークがほとんど、またはまったくカバーされていないタスクに費やされている。 この件の詳細は、人工知能の最新情報をご覧ください。

「このため、アメリカ人が実際に行っている仕事においてAIモデルがどれほど優れているかを知ることが非常に困難になっている」と同社は調査結果の中で述べている。

ベンチマークが見逃しているものを数える

マップを構築するために、Mercor は品質と経済的関連性を考慮して選択した 29 のベンチマークのインデックスを作成し、そのプロンプトを米国政府の O*NET 職業データベース (米国の労働力を構成する 923 の職業と 18,797 の個別のタスクの標準分類) と照合しました。

カバレッジの数字は明らかです。 923 の O*NET 職業のうちベンチマーク カバレッジがまったくないのは 208 のみであり、インデックス全体で 18,797 の職業タスクのうち 924 だけが代表されています。

プロジェクトのサイトに文書化されているこの方法論は、AI 自体に基づいています。最近の研究に従って、LLM 審査員は各ベンチマーク プロンプトに、対応する ONET タスクをタグ付けします。そのタグ付けは、Mercor 独自の APEX ベンチマーク サブセットの人間の専門家ラベルに対して検証されます。タスクは、審査員が 29 のベンチマーク インデックスから少なくとも 5 つのプロンプトにマッピングした場合にのみ、カバーされたものとしてカウントされます。対象範囲を経済用語に変換するために、Mercor はその推定値と、最近公開された LLM から導出された各 ONET タスクの作業時間の割合の推定値を組み合わせました。

報道はお金に従う

ギャップはランダムに分布しているわけではありません。メルコールの分析によると、AIコミュニティはまず最大の労働市場、つまり労働統計局の賃金と雇用の推計から計算される賃金総額が最も大きい職業をベンチマークとしてきたことが示唆される。

仕事と家族の内訳は、注目がいかに不均一であるかを示しています。ベンチマーク作成の本拠地であるコンピューターおよび数学の職業は、36 職業のうち 29 で最もよくカバーされています。ビジネスと財務業務が 48 件中 33 件で続きます。しかし、オフィスと管理のサポート (数百万人を雇用する家族) は 51 の職業のうち 21 件しかカバーされておらず、管理職は 56 件中 21 件です。

最もよくカバーされている専門職であっても、深みは薄い。 Mercor がベンチマークを重視する 4 つの職種 (投資銀行業務、法律、会計、ソフトウェア エンジニアリング) に対して ONET 加重スコアリングを試みたところ、これらの職種に関連する ONET タスクのうち、加重スコアに含めるのに十分なベンチマーク カバレッジを備えているのは 3 分の 1 未満であることが判明しました。

盲点が重要な理由

この発見は、ベンチマーク スコアが実際の意思決定を左右する瞬間に当てはまります。企業は評価に基づいてモデル層を選択します。取締役会はベンチマークのジャンプに関するフロンティアモデルの進歩について聞きます。政策立案者は規制を検討する際に能力の軌道に言及します。労働時間の 90% がベンチマークの測定範囲外にある場合、それらの決定はすべて、オフィスに縛られている人、技術的な人、学術的な人に偏ったサンプルに基づいて行われることになります。

ベンチマークが集中する場所には構造的な理由があります。ソフトウェア エンジニアリング タスクは、指定するのもコストもかからず、自動的に採点するのもコストがかからず、主にソフトウェアを作成するベンチマーク作成者にとっても設計が簡単です。医療助手のベッドサイドでのマナー、変化する制約の下での物流コーディネーターの判断、または電気技師の診断プロセスを評価することは、標準化が難しく、遠隔で検証することも難しく、多くの場合、物理的な立ち会いなしではテストすることは不可能です。

トレーニングや評価作業のために各分野の専門家と AI ラボをマッチングすることを中核事業とする Mercor は、評価対象範囲が狭いことを指摘することに明らかに商業的利益を持っています。同社はまさにそのギャップを埋めることができる専門家へのアクセスを販売しています。しかし、根底にある測定の問題は現実であり、分野全体でますます認識されつつあるため、同社は精査のためにその方法論と完全なベンチマークリストを公開しました。

同社は、ベンチマーク マップは、経済全体の AI 機能を理解するための継続的に更新されるリソースに向けた第一歩であり、頻繁にベンチマークされるタスクが平均を独占するのではなく、各職業タスクを均等に重み付けする O*NET 加重モデル スコアを目指して取り組んでいると述べています。

測定の 10 年

次に何が起こるかは、ベンチマーク作成者が経済地図に従うかどうかによって決まります。 Mercor データは、カバレッジが不足している場所、そして暗黙のうちに、最も多くの情報価値をもたらす新しいベンチマークがどこにあるかを示しています。雇用が多く、賃金が高く、ベンチマーク対象範囲がゼロの職業は、事実上、評価が自由な領域です。

現時点では、AI リーダーボードのニュースを利用する人にとって実質的な注意点は、モデルのベンチマーク プロファイルは、ベンチマークがたまたまカバーしている経済の一部におけるそのモデルの強みを説明しているということです。労働時間の残りの 90% (管理業務、介護、フィールド サービス、フロア管理) は依然としてほとんど測定されていない領域であり、AI による労働時間の変革に関する主張は、証拠よりも逸話に基づいているのが現状です。

同社自身の枠組みにあるように、ベンチマークは近年増加していますが、経済的に価値のある研究の対象範囲は依然として限られています。マップでは、タイルごと、職業ごとにその制限が可視化されます。

---

AIの最新情報をお届け

AIの最新ニュース、分析、ブレイクスルーを一箇所で。

AIニュースをもっと読む →