团队开源了vllm-jev项目，无论是为复现Jev的优秀效果，探索RLCD的具体细节，还是———只是想用Jev为产品迭代升级

一次Jev推理的时间，600ms
vllm-jev一次推理的时间，50ms
Jev在诸多方向展现了莫大的潜力，其高速优雅的
输出带来了更多的可能。
一个高速且高效的Jev推理引擎都会带来帮助
而我们的引擎通常能够带来5倍甚至50的加速效果

vllm-jev已支持多模态模型和laya全系模型，即将支持Mac一键部署和更好的速度优化
欢迎大家star和讨论

#jev #llm #AI进化生活howto