DeepSeek 又放大招！开源推理框架 DeepInfer，解决AI推理成本

DeepSeek 开源生产级推理框架 DeepInfer！支撑 V4.1-Flash 高吞吐低延迟，双支持 NVIDIA+昇腾，AI 推理成本有望大幅下降，还送上 deepseek-recipe，社区部署直接对齐官方 API

10月20日，DeepSeek 官方账号 @deepseek_ai 正式宣布：内部推理框架 DeepInfer 全面开源！

这是直接把支撑 DeepSeek-V4.1-Flash 大规模生产服务的完整推理栈扔给了社区。高吞吐、低延迟、双硬件支持（NVIDIA SM100 + 华为昇腾 950），目标明确——帮社区大幅降低算力成本、减少能耗，让 AI 真正变得更便宜、更可及。

GitHub 仓库一上线就迅速收获超 6k Stars，Apache-2.0 协议，干货满满。

DeepInfer 到底是什么？

DeepInfer 是 DeepSeek 自家用于大规模线上服务的高性能推理框架。此前他们已经陆续开源了 FlashMLA、DeepGEMM、DeepEP、TileLang 等核心算子和库，这次则是把这些“零件”组装成完整“发动机”的代码公开了。

核心亮点一览：

• 高性能内核 + 优化推理引擎：继承并深度改造了 vLLM 的基因，同时吸收了 SGLang、TensorRT-LLM 的灵感，专门针对 DeepSeek 模型做了极致优化。
• 分布式推理能力：支持 Attention 数据并行（DP）、均衡上下文并行（CP）、MoE 专家并行（EP）+ EPLB 负载均衡。
• 投机解码（DSpark）：半自回归草稿生成 + 置信度调度验证，显著提升生成速度。
• SWA Bounded Replay：结合滑动窗口注意力的有界回放机制，进一步压低首 token 延迟（TTFT）。
• 异步零开销批调度：让 CPU 调度与 GPU 计算真正并行。
• 结构化输出：原生支持正则、JSON Schema、EBNF，方便落地应用。
• 确定性推理：NVIDIA 平台支持 batch-invariant 和固定种子采样。

同时开源的还有 deepseek-recipe——生产级 token 编解码组件。它与官方 API 的处理逻辑完全对齐，社区部署可以直接复现官方 API 行为，告别“本地跑和官方不一样”的尴尬。

硬件支持非常务实：

• NVIDIA SM100（Blackwell）GPU（CUDA 13）
• 华为昇腾 950 NPU（CANN 9.2）

目前主要提供离线推理能力，支持模型为 DeepSeek-V4.1-Flash（默认检查点 DeepSeek-V4.1-Flash-1017）。完整在线服务还需要自行补齐 KV Cache 系统、Prefill/Decode 分离、跨副本负载均衡等组件——DeepSeek 自己也坦诚这些与内部基础设施高度耦合，暂时未开源。

官方透露，单个集群每天已处理 155 万亿 tokens，GPU 小时收入约 38 美元（谷值定价）。这套框架正是他们把推理成本压到极致的关键。

硅基观点：这波开源，意义远超“又一个框架”

1. 真正把“成本杀手”交到社区手里
   模型权重开源早已司空见惯，但真正决定价格和体验的，是推理效率。DeepSeek 这次直接把生产级调度、并行、投机解码全部公开，等于把“怎么把同样算力跑出更多请求”的秘密分享了出来。对中小团队、创业公司、高校来说，这可能比又一个新模型更实用。
2. 双硬件战略的落地宣言
   同时原生支持 NVIDIA 最新 Blackwell 和华为昇腾 950，不是“兼容一下”的姿态，而是从设计之初就按多厂商加速器来架构。在当前地缘与供应链背景下，这具有很强的战略信号意义。
3. 开源节奏的“长期主义”
   从算子库到完整推理框架，DeepSeek 一直在按“先拆零件、再交整机”的节奏推进。他们曾在 2025 年解释过内部引擎与集群深度绑定、难以直接开放，现在终于把核心框架交出来了。未来模型的推理代码也会持续落地在 DeepInfer 仓库——这是一种可持续的开源承诺。
4. 对行业的连锁反应
   vLLM、SGLang 等框架将迎来更强的竞争压力，同时也有了新的优化参考。国产算力生态会因为昇腾 950 的原生支持而加速成熟。最终受益的，是所有想跑大模型、却被推理成本卡脖子的人。

当然，目前还不是“开箱即用的完整在线服务”，社区需要自己补齐 KV Cache 和负载均衡。但核心引擎已经在这里了，后续贡献和二次开发空间巨大。

结语

DeepSeek 又一次用行动证明：真正的开源，不只是放出权重，更是把让 AI 变得更便宜、更高效的“生产秘密”分享出来。

从模型到算子，再到今天的完整推理框架，他们正在系统性降低整个行业的进入门槛。

欢迎大家关注AI顿悟涌现时，快速入门当下最热的AI大模型前沿。

文末点击下一篇或者扫码加入学习群，即可学习前沿AGI常识。