众力资讯网

SGLang 写了一篇技术博文,介绍自己是如何在第0天就支持Kimi k3的网页

SGLang 写了一篇技术博文,介绍自己是如何在第0天就支持Kimi k3的网页链接

文章介绍了 SGLang 和 Miles 为 Kimi K3 做的首日适配工作。Kimi K3 的架构很不常规:它混合了 69 层 KDA 线性注意力和 24 层 MLA,还有 LatentMoE、Attention Residuals、视觉栈等新组件,这让传统服务框架里关于 KV cache、并行方式、内存池和 kernel 的许多假设都失效。SGLang 团队为此重做了 KDA 状态缓存与复用、统一内存池、DSpark 投机解码、ReplaySSM 状态回放、多类 kernel 优化,以及面向 prefill 和 decode 的不同并行策略;最终在不同场景下给出了较高吞吐表现How I AI