DeepSeekR1本地部署的话,感觉8BIQ4是一个比较折中的选择。

慢点评科技 2025-01-28 18:12:09

DeepSeek R1 本地部署的话,

感觉 8B IQ4 是一个比较折中的选择。

同样的提问:

如果 3840x2160 叫 4K 或者2160p,7680x4320 叫 8k 或者 4320p,请找出命名和实际分辨率的关系规律,然后判断2560x1440 应该叫多少k 或者多少P?

图1 的 1.5B 给人一种思而不学则怠的感觉,想了很多,但是基础知识都不会,越想越错。

图2 的 8B 很快找到了规律,虽然每秒 6 tokens 性能比 1.5B 的 21.6 慢了 3-4 倍,但因为有逻辑,出结果用的总时间反而是更快。

图3 就是官方 App 的满血 R1 了,确实又快又好,但咱也不知道它是不是记住答案了[笑cry]

0 阅读:0
慢点评科技

慢点评科技

感谢大家的关注