实际上我还测试了 Llama 3.3 70B,一个 40GB 的模型,在 M3 Ultra 的 Mac Studio 上跑着也不错。
但这个模型的推理质量实在太差了。就整段删了。没啥意思。
目前本地运行最好的还是 QwQ 32B。起码在我的使用场景里,速度、质量,双丰收。
实际上我还测试了 Llama 3.3 70B,一个 40GB 的模型,在 M3 Ultra 的 Mac Studio 上跑着也不错。
但这个模型的推理质量实在太差了。就整段删了。没啥意思。
目前本地运行最好的还是 QwQ 32B。起码在我的使用场景里,速度、质量,双丰收。
作者最新文章
热门分类
科技TOP
科技最新文章