AI这东西确实有毒,我是说你运气比较背的时候的折腾难度,搞了一天ollama给我搞吐了,真的挫败感超级高
先是下载模型,很难,非常难,本来想着我有代理应该我直接ollama gui上面下的也会挺快,结果限速,切cmd上ollama pull,也是限速,百兆速度。
魔搭上下的模型一开始没下guff的,结果不能用,然后后面下载guff,直接量化模型全下下来了。。。。下了300多gb
再然后就是modelfile,这个东西居然要自己去配置,我下了个gm4,它里面没配置好modelfile限定回答的话,启动的时候会答非所问,我问你是谁,给我输出电商运营方式。。。。
关键,最我糙的地方,是不晓得为啥CUDA调用不了,全程吃满CPU,重开,重启,重下,本来我以为是新版本有问题,结果从0.30.11一路下到了0.29下了5个版本都没有效果
极端的无语,关键根本没折腾好,没有成功的部分能让你分泌多巴胺

