本地大模型小王者怎样投机才能提速？
显卡：V100 32GB
使用的量化模型：unsloth/Qwen3.6-27B-Q4_K_M
自投机：ngram-simple
投机采样的草稿小模型：unsloth/Qwen3.5-0.8B-Q4_K_M
结果是：
自投机采样的生成速度只是稍稍快一点点
草稿小模型投机生成速度则大降(一直在20t/s左右)，预填充速度也下降了一些
其中，草稿小模型的可接受率在80%左右
是哪里有问题？
如何真正的使用这些投机或加速方法？
本地大模型小王者怎样投机才能提速？
显卡：V100 32GB
使用的量化模型：unsloth/Qwen3.6-27B-Q4_K_M
自投机：ngram-simple
投机采样的草稿小模型：unsloth/Qwen3.5-0.8B-Q4_K_M
结果是：
自投机采样的生成速度只是稍稍快一点点
草稿小模型投机生成速度则大降(一直在20t/s左右)，预填充速度也下降了一些
其中，草稿小模型的可接受率在80%左右
是哪里有问题？
如何真正的使用这些投机或加速方法？
