由前 OpenAI 首席技术官 Mira Murati 创立的人工智能初创公司 Thinking Machines Lab 于 2026 年 11 月 20 日发布了一个新的开放权重模型:Inkling 2 Mini,这是一个围绕不寻常架构构建的紧凑模型,该公司表示,该架构使其远远超出其参数数量。该模型足够小,可以在消费类笔记本电脑上本地运行,总内存占用约为 20GB。

对于尺寸类别来说,标题数字是惊人的。根据该公司的公告,Inkling 2 Mini 在 DeepSWE v1.1 上以少于 1000 亿个总参数领先所有开放权重模型,解决了 48.2% 的任务,在 Vals Index v2.2 上得分为 46.5%。这两个基准测试都衡量代理编码能力,这是目前业界最具商业争议的能力前沿之一。 更多相关背景,请参阅我们的AI行业报道。

环形变压器有何不同

Inkling 2 Mini 是一款环形变压器。该模型不是将每个令牌在每个层中传递一次,而是为每个令牌运行其中间层三次。实际上,该模型可以对问题应用更多的顺序计算,而无需生成更多的输出标记。

该公司的框架是,循环允许模型推理更长时间,而无需写下其推理。传统的思维链推理将代币花费在可见的中间步骤上;相反,循环会花费计算量。这对推理质量比标记计数更重要的任务的速度产生了真正的影响,而代理编码正是这种任务。

在底层,Inkling 2 Mini 是一个混合专家模型,总参数为 264 亿个,每个令牌只有 34 亿个活跃值,一旦考虑到循环,每个令牌的权重激活数为 54 亿个。大多数权重都经过训练并本地部署在 NVFP4 中,NVFP4 是 Nvidia 一直在其数据中心产品线中推广的低精度格式,最后四层保留在 MXFP8 中。激进的量化和少量的活动参数数量相结合,将模型压缩到大约 20GB 的空间,适合笔记本电脑和台式 AI 机器。

该实验室演示了该模型在配备 M5 Pro 芯片和 48GB 内存的 MacBook Pro 上以飞行模式离线运行,并在几分钟内构建了一个可玩的飞行模拟器。

可监控性的权衡

该版本伴随着可能比基准更重要的研究。如果模型通过循环进行内部推理,而不是用标记表达其思想链,那么可见的推理文本就不再是了解模型实际操作的忠实窗口。这对人工智能安全研究产生了影响,其中监控思想链已成为为数不多的实用监督工具之一。

除了 Inkling 2 Mini 之外,Thinking Machines 还发布了一种特定于研究的可变循环变体来测量效果。结果对能力来说是一个令人鼓舞的方向,但对监督来说却是一个复杂的方向。可变循环模型在没有任何思维链的情况下完成任务的时间范围从单次循环的 16 秒提高到三个循环的 37 秒,并且串行推理基准的性能不断提高到十个循环——是模型训练时的两倍。

与此同时,随着循环的添加,可见的思想链变得越来越短,但该公司报告说,它始终清晰可见,并且随着循环深度的增加,该模型在代理破坏测试中并没有趋向更高。 Thinking Machines 将这些描述为研究人员可用的首批循环架构模型,并将此次发布部分定位为邀请安全社区研究实际重量而不是模拟设置的可监控性。

Sub-100B 级别的竞技比赛

基准测试将 Inkling 2 Mini 与拥挤的 100B 以下领域进行对比,其中包括 26B-31B 系列的 Gemma 4 型号、Qwen3.8-27B、Muse Glimmer 和名为 Ripple 的 65B 预览型号。 Thinking Machines 声称其模型的运行速度也比性能相似的竞争对手更快,并引用了批量大小为 1 时的理论代币吞吐量。

由于两个原因,100B 以下细分市场变得具有战略重要性。首先,随着企业不愿将敏感数据发送到托管 API,设备上和私有部署正在快速增长。其次,局部推理的每个代币经济学越来越青睐小型的、积极量化的模型,而不是大型模型的精炼副本。在 NVFP4 中本地运行并具有循环计算功能的 26.4B MoE 是对该市场的直接答案。

该模型可在 Hugging Face 上使用并发布模型卡,Thinking Machines 正在通过其 Tinker 微调平台推广访问。在此版本和实验室早期的 Inkling 系列模型之间,这家初创公司正在围绕循环式计算扩展构建独特的技术身份,而此时大多数前沿实验室仍然专注于扩展参数和数据。

无论循环成为主流架构还是仍然是一个利基市场,这次发布都标志着一个值得注意的时刻:最受关注的人工智能初创公司之一押注于每个代币更智能的计算(而不是更多代币,也不是更多参数)才是下一个收益的所在。

---

掌握AI最新动态

获取最新的AI新闻、分析和突破——尽在一处。

阅读更多AI新闻 →