【DeepInfer推理框架开源DeepSeek全面开源DeepInfer】10月20日，DeepSeek宣布在已开源大模型、TileLang编译工具及推理算子库基础上，进一步全面开源内部推理框架DeepInfer，目标实现大模型普惠。官方称，推理框架负责统筹调度算力集群，效率直接决定AI服务算力成本与电力消耗；希望通过分享部署经验，帮助开发者与企业优化大规模推理吞吐与延迟，高效构建私有化及公有云部署，降低算力成本、减少能源消耗。基于DeepInfer，DeepSeek已实现V4.1 Flash高吞吐、低延迟大规模推理服务。DeepInfer支持分布式推理、推测解码、SWA Bounded Replay、结构化输出等，兼容英伟达与华为昇腾平台；同步开源生产级Token编解码组件deepseek-recipe，与官方API处理逻辑完整对齐。