众力资讯网

不得不服,在qwen3.8 27b 4bit 模型,5070Ti 可以全装进去,上下文可以开到30k, 不开MTP,输出50token/s。 Macbook m5pro 64G 开启Dflash2,顶天能到30 token /s ,平均 14~17 token/s。仔细一查,macbook 内存速度是300G,5070ti 的内存速度是900G。 虽然在本地跑的模型干活基本上都是💩。但是硬件 ​

不得不服,在qwen3.8 27b 4bit 模型,5070Ti 可以全装进去,上下文可以开到30k, 不开MTP,输出50token/s。 Macbook m5pro 64G 开启Dflash2,顶天能到30 token /s ,平均 14~17 token/s。仔细一查,macbook 内存速度是300G,5070ti 的内存速度是900G。虽然在本地跑的模型干活基本上都是💩。但是硬件差距是实打实的。