教师唐某某被采取刑事强制措施重新在本地部署了deepseek,这次是基于lla

冰夏搞笑 2025-02-12 00:45:51

教师唐某某被采取刑事强制措施 重新在本地部署了deepseek,这次是基于llama3蒸馏微调的deepseek r1 700亿参数版本。经过微调优化后还配置了知识库,因此在专业知识上超过了免费的ChatGPT 4o,总体性能在大部分问题上超越了llama3.3的同级别量化版本,大约接近原生deepseek r1(不过ds一直服务器无反馈,很多问题测不出来)的七八成左右功力,看来日常工作流问题不太大。

运行大约需要占用50G➕的显存,每秒约生成5-7tokens。现在已经有原生deepseek r1 1.58b压缩版本了,192G显存通过ollama拉取就能直接用,性能大抵与满血版本相似。

0 阅读:0
冰夏搞笑

冰夏搞笑

感谢大家的关注