DeepSeek开源DeepInfer:生产级推理引擎问世

10 月 20 日,DeepSeek 在 GitHub 上正式开源 DeepInfer——支撑其大规模生产服务的高性能推理引擎,采用 Apache 2.0 许可证发布。这已经是 DeepSeek 在十天内的第三次重磅开源:10 月 17 日刚以 MIT 协议开源了 V4.1-Flash 1017 版模型及配套的搜索与抓取 API,如今连”把模型高速跑起来”的服务栈也一并公开。更值得注意的是,DeepInfer 首批同时支持英伟达 SM100(Blackwell)GPU 和华为 Ascend 950 NPU——这是华为芯片第一次得到前沿 AI 实验室在生产级推理上的第一方背书。

事件详情:开源的范围与边界

DeepSeek 官方 X 账号在 10 月 20 日宣布了这一消息,GitHub 仓库随即上线,配套还开源了 deepseek-recipe(MIT 许可证)——与官方 API 保持一致的词元编解码组件。发布一小时内,官方帖文收获数千点赞,仓库 star 数迅速攀升至数千。

需要厘清的是,本次开源的范围比名字听起来要窄:

  • 仅支持一个模型:第一版只做 DeepSeek-V4.1-Flash 的离线推理,默认加载 10 月 17 日发布的 1017 更新版;
  • 两种芯片:NVIDIA SM100 GPU(需 CUDA 13)与华为 Ascend 950 NPU(需 CANN 9.2),运行环境要求 GCC 13 以上、Python 3.12。Hopper 及更老的英伟达架构不在支持列表;
  • 不在本次开源范围内:KV 缓存系统、预填充/解码分离(P/D disaggregation)、多副本负载均衡;
  • 部分高级特性仅限英伟达硬件:确定性采样与 batch-invariant 推理两项”可复现输出”功能只在英伟达卡上可用,所有已公布的性能基准也都跑在英伟达芯片上,且均为 DeepSeek 官方数据,未经独立验证。

DeepSeek 随代码发布了一份部署问答,披露了 V4.1-Flash 的生产级数据:单个集群日均服务 155 万亿 token,输入缓存命中率 96%,平均首 token 时间约 400 毫秒,输出速度 230 tokens/s(代码场景最高可达 300);按谷电价折算,每 GPU 小时营收约 38 美元。DeepSeek 在问答中写道:”以合理的价格服务海量用户,是一个推理框架必须解决的核心问题。”

技术细节:vLLM 出身的生产实战派

DeepInfer 的 README 毫不避讳其出身:最初主要基于开源的 vLLM 构建,并借鉴了 SGLang 与 TensorRT-LLM 的设计。它的技术清单,几乎就是 DeepSeek 近期系统论文的”工程落地版”:

  • 定制算子:FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect,以及用 TileLang 编写的定制 kernel;
  • 并行策略:Attention DP 配合均衡的上下文并行(CP),MoE 专家并行(EP)搭配 EPLB 负载均衡;
  • DSpark 投机解码:草稿模型一次提出 5 个 token,置信度头预测主模型会接受哪些,只把校验算力花在最可能的候选上——每步需校验的草稿 token 减少约 30%,在 DeepSeek 的生产负载下带来 4%~7% 的吞吐提升;
  • SWA 有界重放:只把 prompt 最后 128 个 token 送回解码器层重算,近乎砍掉一半的预填充计算量;
  • 异步零开销批调度:CPU 的批次调度与设备执行重叠进行,默认开启;
  • 确定性与结构化:相同输入和采样参数下输出完全一致,生成内容可被约束为正则表达式、JSON Schema 或 EBNF 文法——这对 Agent 类应用的稳定性至关重要。

背景分析:从”开源模型”到”开源服务栈”

自今年 1 月 R1 发布以来,DeepSeek 一直在持续开源模型权重。但这一次的性质不同:开源的不再是模型的”设计图”(权重),而是”怎么把模型高速、低成本跑起来”的引擎。AI Weekly 的评价一针见血:Apache 2.0 许可证允许商业自建,这直接冲击 Fireworks、Together、Groq 等托管推理服务商的定价权——当任何人都能用 DeepSeek 自己的生产栈自建服务,中间商的利润空间就被压缩了。

与华为的绑定也在加深。上周 DeepSeek 宣布计划在 2026 年底前于华为芯片上进行预训练;本次 Ascend 950 的首发支持让这一表态落到了工程层面。与此同时,美国政府被报道要求联邦机构从系统中移除 DeepSeek 模型——地缘博弈与开源扩张两条线正在同步推进。

放在行业大势里看,DeepInfer 是”去 CUDA 化”浪潮中最具生产实战色彩的一块拼图:10 月 19 日亚马逊公测了面向 Trainium 的 TorchNeuron,10 月 20 日谷歌与 Meta 联手开源了 TPU 的 PyTorch 后端 TorchTPU(本站均已报道)。PyTorch 生态正在快速长出不依赖英伟达硬件的选项,而 DeepInfer 证明了这种选项可以来自一线生产环境,而非实验室 demo。

影响与展望

对开发者和企业:自建大模型推理服务的门槛和成本有望显著下降,尤其适合已有 Blackwell 或昇腾算力的团队。但第一版仅支持 V4.1-Flash、仅离线推理,通用性有限——DeepSeek 承诺后续模型的推理代码会进入同一仓库,值得持续关注。

对推理服务商:托管推理的利润空间承压。TechTarget 指出,随着 AI Agent 消耗的 token 量激增,企业本就在寻找削减推理成本的办法,DeepInfer 的出现加速了这一进程。

对国产算力生态:Ascend 950 拿到前沿实验室的生产级适配,是国产 AI 芯片生态的重要信号。但也要看到,全部性能基准都跑在英伟达卡上,昇腾侧的实际表现仍待社区验证;两项确定性特性暂不支持昇腾,也说明适配深度还有提升空间。

一句话总结:DeepSeek 把”便宜又快地服务用户”这门手艺开源了。对中文开发者而言,这意味着一条更低成本的自建推理之路正在打开——前提是,你手里有它支持的芯片。

发表评论