DeepSeek 开源 DeepInfer 离线推理框架

DeepSeek 正式开源了内部使用的高性能推理框架 DeepInfer，采用 Apache 2.0 许可证。该框架支撑着 DeepSeek 大规模生产推理服务，目前开源版本支持 DeepSeek-V4.1-Flash，重点开放了离线推理及相关核心优化能力。

在计算与并行方面，DeepInfer 集成 FlashMLA、DeepGEMM、DeepEP 等优化组件，并通过 Attention DP、Balanced CP、MoE EP 和 EPLB 等机制，协调注意力计算、专家并行与负载均衡。

在解码方面，DeepInfer 支持 DSpark 推测解码，通过草稿 Token 和基于置信度的验证调度加速生成；同时利用 SWA Bounded Replay 减少部分重复计算，并通过异步批处理调度，让 CPU 调度与设备执行重叠。

此外，DeepInfer 还支持批次无关推理，让相同输入在不同批处理组合下能保持计算结果一致；配合确定性采样，可提高生成结果的可复现性。该框架还支持 JSON Schema、正则表达式等结构化输出约束，可方便控制模型的输出格式。

此外，DeepSeek 本日在知乎上发表的「DeepSeek V4.1 Flash 大规模推理部署实践」披露，DeepSeek 的推理系统单集群每日吞吐量达到约 155 万亿 Token，按低谷时段计价口径计算的收入约为 38 美元/卡/小时。这两项数据反映了完整生产推理体系的运行规模与经济性，并非当前开源版本的独立测试结果。

这里要注意，DeepInfer 此次开源的部分主要为离线推理能力，完整推理服务还包括在线服务。这里涉及到的 KV Cache 系统、Prefill/Decode 分离部署及跨副本负载均衡等基础设施尚未开源。

这次 DeepSeek 开源提供了一个观察 DeepSeek 生产级推理工程实现的机会，尤其值得研究其 MoE 并行、推测解码、计算通信优化和异步调度机制。

DeepSeek DeepSeek开源内部推理框架DeepInfer 开源项目 大模型推理 AIInfra MoE 推理优化