系列博客 pegainfer：一个从零开始构建的原生 Rust 推理引擎地址：susun-blog.com/blog/

目前正在连载，已经到MoE部分了。作者Jinyang Su，主要从事 LLM 推理和基础设施方面的工作。 pegainfer是一个完全用 Rust 编写、带有手工编写的 CUDA 内核的 LLM 推理引擎。项目源码在这里：github.com/xiaguan/pegainferAI创造营