使用最新版llama.cpp进行了参数优化,已经大幅度提升了qwen3.8 27b Q8kxl 的token速度到76 t/s+。当前是在windows下,如果换linux还会有略微的提升。跑生产一定要用最新版的llama.cpp v0.1.2 不要用lm studio。接入本地编程IDE,代码速度非常彪悍。

使用最新版llama.cpp进行了参数优化,已经大幅度提升了qwen3.8 27b Q8kxl 的token速度到76 t/s+。当前是在windows下,如果换linux还会有略微的提升。跑生产一定要用最新版的llama.cpp v0.1.2 不要用lm studio。接入本地编程IDE,代码速度非常彪悍。
