Perplexity 发布了一篇关于 Decider v1.3(其决策模型系列的最新版本)的详细文章,标题为“Perplexity Decider v1.3:训练、评估和用例”。周五,这篇文章登上了《黑客新闻》的头版,并在几个小时内获得了 140 多个点,开发人员交换了基准结果,并争论了这些模型的实际适用范围。有关此内容和其他重大人工智能新闻的更多信息,我们会关注每个模型的发布。

人们的关注点不再是某个更新,而是该主题揭示的内容:在不到一年的时间里,决策模型已经从一种好奇变成了一个拥挤的类别,拥有自己的基准、自己的定价逻辑和一个竞争领域,现在包括 Perplexity、TypeSafe、微软、谷歌、Cloudflare 和 OpenAI。

决策模型实际上是做什么的

最清晰的定义来自独立评估实验室Artificial Analysis,其决策指数v2.1已成为该类别的参考排行榜。在其解释器中,决策模型会提出带有一组固定选项的问题(例如,询问是否路由到计费或技术、是否紧急以及客户有多不安)的支持票证,并在一次调用中返回每个选项的答案并附加概率。

相比之下,通用语言模型会生成结构化输出,然后必须对其进行解析,而推理模型在给出答案之前会花费额外的计算思维。决策模型会跳过这一点。他们接受的训练是选择,而不是解释,这使得他们能够快速、廉价地大批量处理每个文档、每个请求。

如何衡量类别

人工分析决策指数 v2.1 更新了公共方法页面,结合了六项评估和已公布的权重:AA-Paperclip 占 30%,通过决策和事实提取运行 1,500 份简历、收据、发票和研究论文; EvalSafe-ONET-AA 为 15%,基于 TypeSafe 的 ONET 工作场所文档判断基准; When2Call at 10%,NVIDIA 的工具调用评估; AA-Omniscience-Decision v1.1,知识和幻觉占 15%; HLE-MultiChoice v1.1 占 15%,来自 Humanity's Last Exam 的纯文本多项选择题,可以选择拒绝; AA-Symmetry v1.1 占 15%,它检查当选项被移动、改写或否定时决策是否成立。

最后一个测试就是答案。当你颠倒选项顺序时,模型会翻转其答案,这实际上并不是在做决定,而是模式匹配。校准、不变性和知道何时拒绝被视为一流的要求,而不是奖金。

黑客新闻主题添加了什么

Perplexity 于 10 月初在 Hugging Face 上首次对具有 270 亿参数的家族成员 pplx-decider-v1-27b 进行开放加权,因此社区已经使用这些模型数周了。 v1.3 的反应好坏参半,看起来像是一个健康的市场,而不是一个炒作周期。

一位开发人员报告称,在实体提取和匹配任务的内部评估中,Decider v1.3 比 v1.2 和 TypeSafe 的 Jev 1.14 都有所提高。另一位人士表示,它在当地基准测试中表现良好,并且价格具有竞争力,并指出双向注意力架构可能适合决策工作。其他人则反驳道:一位评论者发现 v1.3 对于他们的用例来说是倒退了一步,并表示公共索引同意,而另一位评论者质疑闪存变体是否削弱了该类别廉价、准确的批量决策的核心承诺。

该帖子还介绍了周围的生态系统——Cloudflare 的 Clef 决策模型和 Clairic 提取模型、ScaleDown API、Liquid 的 D1 和 OpenAI 自己的决策模型——一些开发人员指出,Artificial Analysis 的指数(包括每项任务的成本和校准以及准确性)是他们信任的唯一跨供应商比较。

为什么它很重要

我们已经逐步介绍了这一类别的崛起:TypeSafe 的 Jev system-one 模型、微软基于 Qwen 的 Decision-1 以及 Google 的 Decisions API 及其 Gemini Decision-1 模型。 Perplexity 发布 v1.3 证实了这一模式——每个主要的人工智能平台现在都希望拥有做出结构化选择的层,因为该层位于一切的前面:支持分类、文档处理、工具调用、审核、合规性检查。

经济是重点。推理模型在准确性方面可以胜过决策模型,但在大批量情况下,其延迟和成本使其成为数百万日常分类的错误工具。决策模型用一般情报来换取经过校准的、不变的、单次调用的答案,正如黑客新闻辩论所显示的那样,买家现在正在根据真实的基准和真实的工作负载对交易进行评分。

Decider v1.3 的生死存亡取决于这些记分卡。但这个类别本身显然已经到来。

---

保持人工智能领先地位

获取最新的人工智能新闻、分析和突破——尽在一个地方。

阅读更多人工智能新闻 →