众力资讯网

不止开模型权重,DeepSeek连AI服务的后厨调度表都开源了 最近DeepSeek扔出的开源DeepInfer动作,在大模型圈的分量比很多人想象的重。 不是普通框架,是跑通亿级流量的实战手册 不同于vLLM、SGLang这类通用推理框架,DeepInfer是从日吞吐155万亿Token的生产

不止开模型权重,DeepSeek连AI服务的后厨调度表都开源了

最近DeepSeek扔出的开源DeepInfer动作,在大模型圈的分量比很多人想象的重。

不是普通框架,是跑通亿级流量的实战手册

不同于vLLM、SGLang这类通用推理框架,DeepInfer是从日吞吐155万亿Token的生产集群里抠出来的优化集合,按谷电计算单卡每小时收入可达38美元,实打实跑出来的成本账,比所有实验室跑分都有用。

每一项优化都是从账单里磨出来的

变长投机解码、跨节点KV缓存调度、预填充与解码分离的部署逻辑,每调整一处就少算30%无效校验,线上缓存命中率拉到96%,最后全都直接转化成电费和算力成本的下降。同时它原生兼容英伟达SM100和华为昇腾950,双平台适配直接省了厂商大半年的适配功夫。

开放不是终点,是产业洗牌的起点

它当然不是“下载就能开张”的打包方案,外围缓存管理、负载均衡组件还没完全开源,小团队暂时摸不到门槛。但对云厂商和有大规模集群能力的玩家来说,相当于有人直接把踩了一整年的生产坑全填好了。

大模型的竞争早就不是比谁参数大,而是比谁能把每一分算力花出两分的价值。