之前在MacBook上只部署过70b左右的deepseek、千问,12

特特新车 2025-02-11 21:50:45

之前在 MacBook 上只部署过 70b 左右的 deepseek、千问,128G 内存只用了 60G 左右。今天心血来潮,想试试部署个带视觉的模型,于是找了个 90b 的 llama3.2-vision,居然也能跑,但跑出来的水平只能说凑合。

本地部署的这种小模型,还是只能拿来玩玩儿,干不了啥正事。

0 阅读:3
特特新车

特特新车

感谢大家的关注