Perplexity は、意思決定モデル ファミリの最新バージョンである Decider v1.3 に関する詳細な投稿「Perplexity Decider v1.3: トレーニング、評価、および使用例」を公開しました。この投稿は金曜日の Hacker News のトップページに掲載され、数時間以内に 140 以上のポイントを集め、開発者たちはベンチマークの結果を交換し、これらのモデルが実際にどこに適合するかについて議論しました。これやその他の 最新 AI ニュース の詳細については、発売されるすべてのモデルをフォローしています。

注目は 1 つのアップデートではなく、スレッドで明らかになったものです。わずか 1 年で、意思決定モデルは好奇心旺盛なものから、独自のベンチマーク、独自の価格設定ロジック、そして現在では Perplexity、TypeSafe、Microsoft、Google、Cloudflare、OpenAI を含む競争分野を備えた混雑したカテゴリーに変わりました。

意思決定モデルが実際に行うこと

最も明確な定義は、Decision Index v2.1 がこのカテゴリの参照リーダーボードとなっている独立評価機関である Artificial Analysis によるものです。その説明では、意思決定モデルは固定のオプション セットを含む質問 (たとえば、請求または技術にルーティングするかどうか、緊急かどうか、顧客がどの程度動揺しているかなどを尋ねるサポート チケット) を受け取り、すべてのオプションに対する回答を確率とともに 1 回の呼び出しで返します。

対照的に、汎用言語モデルは構造化された出力を生成し、その後それを解析する必要があり、推論モデルは応答する前に余分な計算思考を費やします。意思決定モデルはそれをスキップします。彼らは説明するのではなく選択するように訓練されており、それがすべてのドキュメント、すべてのリクエストを大量に実行するのに十分な速度と低コストを実現します。

カテゴリの測定方法

Artificial Analysis Decision Index v2.1 は、公開方法論ページで更新され、6 つの評価と公開された重み付けを組み合わせています。AA-Paperclip は 30 パーセントで、1,500 件の履歴書、領収書、請求書、研究論文を決定と事実抽出を通じて実行します。 EvalSafe-ONET-AA は 15%、職場文書に関する TypeSafe の ONET ベンチマークに基づく。 When2Call は 10%、NVIDIA のツール呼び出しの評価。 AA-Omniscience-Decision v1.1 は知識と幻覚に対して 15%。 HLE-MultiChoice v1.1 は 15% で、人類最後の試験のテキストのみの多肢選択問題で、拒否するオプションがあります。 AA-Symmetry v1.1 は 15% で、オプションが移動、言い換え、または無効になったときに決定が有効であることを確認します。

その最後のテストが決定です。オプションの順序を逆にすると答えが反転するモデルは、実際には決定を行っているのではなく、パターン マッチングです。調整、不変性、いつ断るべきかを知ることは、ボーナスではなく、第一級の要件として扱われます。

ハッカー ニュース スレッドが追加するもの

Perplexity は、10 月初旬に Hugging Face で、ファミリーの 270 億パラメータのメンバーである pplx-decider-v1-27b を初めてオープンウェイト化したため、コミュニティは数週間にわたってこれらのモデルを実際に操作してきました。 v1.3 に対する反応は、誇大宣伝サイクルではなく健全な市場のように見える形でさまざまでした。

ある開発者は、エンティティ抽出および照合タスクの内部評価において、Decider v1.3 が v1.2 と TypeSafe の Jev 1.14 の両方よりも優れていると報告しました。別の企業は、ローカルベンチマークで優れたパフォーマンスを示し、価格も競争力があると述べ、双方向の注意アーキテクチャが意思決定作業に適している可能性があると指摘しました。他の人はこれに反発した。あるコメント投稿者は、v1.3 はユースケースとしては一歩後退していると考え、公開インデックスは同意していると述べ、また別のコメント投稿者は、フラッシュの亜種が安価で正確な一括決定というこのカテゴリーの中核となる約束を薄めているのではないかと疑問を呈した。

このスレッドでは、CloudflareのClef意思決定モデルとClairic抽出モデル、ScaleDown API、LiquidのD1、OpenAI独自の意思決定モデルなど、周囲のエコシステムも明らかになり、数人の開発者は、精度とともにタスクごとのコストとキャリブレーションを含むArtificial Analysisのインデックスが、信頼できる唯一のベンダー間比較であると指摘した。

なぜそれが重要なのか

私たちは、TypeSafe の Jev system-one モデル、Qwen 上に構築された Microsoft の Decision-1、および Gemini Decision-1 モデルを備えた Google の Decisions API など、このカテゴリの隆盛を段階的に取り上げてきました。 Perplexity Shipping v1.3 はそのパターンを裏付けています。現在、主要な AI プラットフォームはすべて、構造化された選択が行われるレイヤーを所有したいと考えています。なぜなら、そのレイヤーはサポートトリアージ、文書処理、ツール呼び出し、モデレーション、コンプライアンスチェックなど、すべての最優先に位置するからです。

経済性がポイントです。推論モデルは、精度に関しては意思決定モデルよりも優れていますが、大量の場合、レイテンシとコストの点で、日々の何百万もの分類には不適切なツールとなります。意思決定モデルは、一般的なインテリジェンスを調整された不変の単一呼び出しの回答と交換します。ハッカーニュースの議論が示すように、購入者は現在、実際のベンチマークと実際のワークロードを使用してその取引を評価しています。

Decider v1.3 は、これらのスコアカードで生きるか死ぬかになります。しかし、このカテゴリー自体は明らかに到着しました。

---

AI の先を行く

最新の AI ニュース、分析、画期的な情報をすべて 1 か所で入手できます。

AI ニュースをもっと読む→