AI圈大新闻!DeepSeek太猛了,今天突然扔出个王炸,震动了整个AI行业,因为它竟然开源了DeepSeek大模型的核心推理框架DeepInfer!
这下OpenAI和Anthropic都要睡不着觉了!
推理框架是什么?这是一个AI大模型最核心的能力之一,DeepSeek公众号在今天10月20号发了文章,文章做了很翔实的科普:“大模型的能力边界由模型本身划定,但如何以合理成本提供超大规模的模型服务,还取决于一个长期未被公众了解的中间层:推理框架!
“训练使模型学有所成,推理则让模型为人所用。面对如今海量的用户调用,推理框架负责统筹调度庞大的算力集群,其效率直接决定了 AI 服务的算力成本与电力消耗。”
在以往,一个大模型即便是开源,也只是开源自己的模型权重,但是基本上不会开源自己的推理框架,因为这是一个能够让自己的大模型始终保持领先的最核心指标。如果没有一个好的推理框架,就算是得到了一个能力很强的大模型,也没有办法让这个大模型发挥出自己最大的力量。
毫无疑问,DeepSeek的内部推理框架DeepInfer,绝对是全世界最顶尖的推理框架之一!正是在这种推理框架的支持下,DeepSeek V4.1 Flash才能实现单集群一天 15.5 万亿 token、平均 TTFT 约 400ms、输入缓存命中率 96%、每卡每小时收入约 38 美元的高吞吐、低延迟的大规模推理。
这样一个宝藏级的推理框架,任何公司都会把它给拼命藏好,这样就能始终保持领先了,但是DeepSeek没有这样做,它把这一套直接给开源了,这太猛了,简直就是王炸,是一个深水炸弹,今夜全球AI界都要震动!
这样的开源,带来的影响将是极其深远的。它能够“帮助开发者与企业组织优化大规模推理的吞吐与延迟,从而高效构建私有化及公有云部署,降低算力成本、减少能源消耗,让智能以更低的价格触达更广泛的人群,实现真正的大模型普惠。”也就是让更广泛的人群,更多的公司与组织,能够用得上更顶尖更便宜的大模型。
这对于现在以闭源为主的OpenAI和Anthropic,简直就是降维打击。试想,一个连推理框架都开源了的顶尖大模型放在那里,谁还会去用OpenAI和Anthropic的大模型?它们的客户数量将进一步雪崩,选择使用DeepSeek的人则会越来越多。
DeepSeek开源推理框架之后,深度求索的高级研究员陈德里(Deli Chen),更是豪情万丈,在外网X平台上向欧美喊话:“开源与闭源。光明与黑暗。两种未来、人类两种命运之间的决战。他们想打多久,我们就打多久。直到取得完全胜利!”
看到这段话,笔者感觉自己头皮都发麻了,激动到颤栗,这是何等绝世的自信,何等绝世的骄傲,何等盖世的豪迈!这就是我们中国的AI啊!
人类两种命运之间的决战,就此开始,而我们必将取得完全胜利!

