AI ベンチマークは、どのモデルが見出しになるかを決定します。そして、それらのモデルを構築している企業は、それらのモデルに勝つ方法を学びました。 2024年に設立されたValsと呼ばれる新興企業は、業界がテストをゲーム化できない審判を必要としていると賭けており、投資家もその賭けを大々的に支持したばかりだ。Valsは先月、8VCとブルームバーグベータが主導したシードラウンドに続き、アンドリーセン・ホロヴィッツ率いるシリーズAで4000万ドルを調達した。

同社の躍進は、AIの能力がどのように測定されるのか、そしてその尺度がマーケティングツールになったらどうなるのかという不安が高まる中で起きた。 AI ビジネスの詳細については、AI 業界の報道 をご覧ください。

ベンチマークがマーケティングになるとき

ベンチマークは、AI モデルの機能を検証するため、そして数値によって企業の方針が左右される場合には、競合他社に対する優位性を宣伝するための業界標準となっています。優れたベンチマークは、優れた広報活動を意味します。

Vals の共同創設者兼 CEO の Rayan Krishnan 氏によると、問題は、多くのレガシー ベンチマークが前世代のモデル用に構築されており、企業はそれらに対して最適化する方法を見つけ出したことです。テスト資料が公開されると、試験に合格するようにモデルを効果的にトレーニングできます。これは、業界では汚染、過剰適合、または完全な不正行為などとさまざまに表現されています。

クリシュナン氏はTechCrunchとのインタビューで、「非常に高性能な新しいモデルが次々と急速に市場に投入されるのを目の当たりにしていたが、学術的なベンチマークはそのフロンティアの進歩に追いついていなかった」と語った。

プライベート テスト、現実世界のタスク

ヴァルスは 2 つの面で異なるアプローチを採用しています。まず、特定の試験資料を公表していないため、企業が試験に合わせてモデルをトレーニングすることがはるかに困難になっています。第二に、Vals は、抽象的な知識 (モデルが司法試験形式の質問に答えられるかどうか) を測定するのではなく、法律、金融、コーディングなどの特定の業界でモデルが複雑なタスクをどのように実行するかを評価します。

「私たちがやっているのは、モデルの実際の影響を実際に調べていることです」とクリシュナン氏は語った。 「あらゆる領域で人間と同じ品質の製品を生み出す仕事ができるだろうか？」

同社は成功だけでなく失敗モードも測定します。クリシュナン氏は、ヴァルスの目的は「これらのモデルが世界で暴走した場合、どのような悪影響があるか」を分析すること、つまり下振れリスクを結果論ではなく測定可能な結果として扱う評価哲学であると述べた。

法律と金融からジュネーブ条約と再帰的自己改善まで

Vals の評価の範囲は、そのプロフェッショナル サービスのルーツを超えて拡大し続けています。クリシュナン氏は、同社は現在、法律、財務、コーディングのベンチマークに加えて、メンタルヘルス、サイバーセキュリティ、バイオセキュリティのテストを実行しており、さらには再帰的自己改善に関するベンチマークも実行していると述べた。このテーマは、商業的な評価スイートよりも AI 安全性サークルでよく議論されるテーマである。

おそらく最も印象的なのは、武力紛争法に関する取り組みであり、ヴァルスはモデルがジュネーブ条約をどのように理解し、適用するかをテストしています。その幅の広さは、トップリーダーボードを目指して競争している研究室だけでなく、モデルを展開する前に一か八かの領域でモデルがどのように動作するかの証拠を必要としている企業や機関など、需要がどこから来ているかを示しています。

ビジネス モデル: テストを受けるためにお金を払う

企業はモデルを評価するために Vals にお金を支払いますが、これは直感に反するように思えるかもしれません。なぜ企業は、恥をかかせるような結果にお金を払うのでしょうか?クリシュナン氏はこのモデルを、SAT を受けるために大学委員会にお金を払っている学生に例えています。独立した測定は、それがたとえつまらないものであっても、企業のトラブルシューティングと時間の経過とともに改善するのに役立ちます。

市場も反応しているようだ。ヴァルス氏によると、同社の収益は現在、昨年の8倍で、チームは年初から3倍となり、8人から25人に増えた。同社はサンフランシスコのフォルサム・ストリートにある2階建てのオフィスで運営している（元ビール醸造所の建物で、現在は複数の新興企業が入居している）。

同社によれば、評価はAIモデルを購入する企業の意思決定要素にもなりつつあり、ベンチマークにマーケティングというよりもデューデリジェンスに近い役割を与えているという。

25 歳の創業者が最前列に座る

クリシュナンさん（25）はパランティアでインターンをし、スタンフォード大学の学部生としてマイクロソフトと同大学の有名な人工知能研究室で働いた。彼によれば、Vals は、評価が本来測定すべき業界に後れをとっているのを目の当たりにしたことから生まれました。学術的なベンチマークが設計、検証、公開されるよりも早く新しいモデルが登場するにつれて、その差は広がるばかりです。

このスタートアップは現在、学術的な取り組み、オープンソースのリーダーボードプロジェクト、安全機関などを含む、AI評価を制度化しようとしている小規模だが成長を続ける企業のグループに加わった。 Vals の特徴は、プライベートテストモデルと、公的ランキングではなく、有料の業界固有の評価に重点を置いている点です。

なぜそれが重要なのか

ベンチマークに関する AI 業界の信頼性の問題は、十分に文書化されています。テスト セットの漏洩、不審なリーダーボードの急上昇、現実世界のパフォーマンスを上回るマーケティング主張などです。購入者、特に企業や政府がヴァルス氏のような民間のタスクベースの評価に依存し始めれば、モデル開発者のインセンティブは教育から真の能力を求めるテストに移る可能性がある。

それは解決には程遠いです。民間のベンチマークは依然として買い手に審判を信頼するよう求めており、ヴァルスの顧客は格付け対象と同じ企業だ。しかし、シリーズ A で 4,000 万ドル、収益が 8 倍に伸び、金融からバイオセキュリティまで需要が広がっていることから、独立した感情による評価がインフラになりつつあることは間違いありません。このサービスは、AI 経済に満足のいく結果が得られるかどうかに関係なく、AI 経済が対価を支払うことになります。

AI の先を行く

測定者は誰が測定しますか? AI ニュース速報 の情報源である AI Buzz Wire で、AI 評価のビジネスとそれを再構築するスタートアップをフォローしてください。

最新の AI ニュースを読む→