实际上我还测试了Llama3.370B,一个40GB的模型,在M3

飞猪flypig 2025-03-11 22:29:12

实际上我还测试了 Llama 3.3 70B,一个 40GB 的模型,在 M3 Ultra 的 Mac Studio 上跑着也不错。

但这个模型的推理质量实在太差了。就整段删了。没啥意思。

目前本地运行最好的还是 QwQ 32B。起码在我的使用场景里,速度、质量,双丰收。 ​​​

0 阅读:2
飞猪flypig

飞猪flypig

感谢大家的关注