DeepSeek开源内部推理框架

没想到DeepSeek直接开源了内部推理框架DeepInfer，之前支撑V4.1 Flash高吞吐服务的就是它。大模型跑起来贵不贵、延迟高不高，很大程度都靠推理框架调度。

里面集成了不少自研优化方案，推测解码、长缓存这些实用功能都配齐。不管是小团队做应用，还是企业搭建云服务，都能直接参考这套经过线上验证的方案，减少自己踩坑的成本。