DeepSeek 开源了 DeepInfer，这是一个中国人工智能实验室称其为其大规模生产服务提供支持的高性能推理框架。该代码在 Apache 2.0 许可证下出现在 GitHub 上，在周一 Hacker News 对该版本的讨论吸引了数百名点赞后，几天之内就已经获得了超过 5,500 颗星。

根据该项目的自述文件，该版本提供了离线推理以及 DeepSeek 赖以大规模服务其模型的核心功能。默认配置针对 DeepSeek-V4.1-Flash，框架会在首次运行时自动从 Hugging Face 下载 DeepSeek-V4.1-Flash-1017 检查点。 更多相关背景，请参阅我们的人工智能资讯。

DeepInfer 实际上包括什么

DeepInfer 不是从头开始重写。它将 DeepSeek 在过去两年中逐步发布的专用内核（FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect 和自定义 TileLang 内核）结合在一起，形成一个内置模型和采样器执行的运行时。

该框架还提供了几种服务技术，这些技术在存储库中有详细记录：

  • 置信度计划验证，一种推测性解码方法，使用草稿令牌和置信度估计来安排验证，可通过环境变量控制
  • 解码器 SWA 有界重播，通过仅重播序列的有界后缀来减少解码器预填充工作
  • 异步调度，将 CPU 批量调度与设备执行重叠，默认启用
  • 批次不变推理，使模型结果在不同批次组合中保持相同
  • 确定性采样，针对相同的输入和采样参数产生相同的输出
  • 结构化输出，将生成限制为正则表达式、JSON 模式或 EBNF 语法

这种组合直接针对需要可重复、高吞吐量文本生成而不是实验性玩具的操作员。对于必须审核模型产生给定输出的原因的企业来说，批量不变性和确定性抽样尤其重要。

NVIDIA 与华为 Ascend 并肩作战

最受关注的细节是硬件支持。 DeepInfer 通过 CUDA 13 针对 NVIDIA SM100 GPU，通过 CANN 9.2 针对华为 Ascend 950 NPU，Linux、GCC 13 和 Python 3.12 被列为这两条路径的先决条件。

这种双平台立场与 DeepSeek 的近期历史是一致的。该公司花了几个月的时间为 Ascend 硬件开发基于 TileLang 的软件，并公开质疑 CUDA 不可替代的假设。推出一个将 Ascend 视为一等公民的生产推理框架（而不是事后的研究）扩展了这一战略，而且它的实施正值美国出口管制继续限制中国公司可以购买英伟达芯片的时候。

对于运行国产芯片的中国云运营商来说，支持 Ascend 950 的维护推理引擎消除了为 Nvidia 生态系统之外的前沿级开放模型提供服务的实际障碍之一。

版本中缺少什么

自述文件明确表明这还不是一个完整的服务堆栈。基于 DeepInfer 构建的生产部署仍然需要该版本不包含的三个组件：KV 缓存系统、预填充和解码分解以及跨数据并行副本的负载平衡。该存储库指出，分解所需的大部分引擎功能已经实现，但周围的系统留给操作员。

在实践中，这意味着 DeepInfer 最好被理解为 DeepSeek 基础设施的计算引擎，而不是社区服务框架的交钥匙替代方案。在将其置于实际流量之前，团队仍然需要将其与缓存和路由层集成。

为什么这很重要

DeepSeek 的业务依赖于极其便宜的服务模型，随着该公司的定价偏离其早期的低成本定位，该业务的经济性一直受到密切关注。开放实际的生产推理路径（而不仅仅是研究代码）使外部开发人员和云提供商能够异常直接地了解这些成本背后的技术。

它还延续了一种刻意的模式。 FlashMLA、DeepGEMM 和 DeepEP 都是在实验室构建其堆栈时单独发布的； DeepInfer 有效地记录了各个部分如何组合在一起。对于研究人员来说，该版本可以更轻松地重现 DeepSeek 已发布的性能声明。对于竞争对手来说，它提高了开放推理堆栈的标准。

Apache 2.0许可证允许商业使用而无需copyleft义务，这意味着西方云提供商可以合法部署它——尽管其模型支持目前仅限于DeepSeek自己的V4.1-Flash检查点，因此大多数人目前会将其视为参考实现。

看什么

三个问题将决定 DeepInfer 是否被广泛采用或仍然令人好奇。首先，社区是否将其从V4.1-Flash移植到其他模型架构。其次，存储库性能表中发布的基准测试结果是否适用于 DeepSeek 自己的集群之外的硬件。第三，缺失的部分——KV缓存管理、分解和负载平衡——是否会在未来的版本中出现，从而将引擎变成一个完整的服务框架。

目前，该发布是实验室的一项显着的透明度举措，该实验室多次选择发布其模型下的基础设施。想要进行实验的开发人员可以在任一受支持的平台上从源代码构建 DeepInfer，并使用单个示例脚本运行离线推理。

---

掌握AI最新动态

获取最新的AI新闻、分析和突破——尽在一处。

阅读更多AI新闻 →