零刻SER9ProHX370与AI365本地部署deepseek-R1大模

盼晴聊科技 2025-02-15 15:24:50

零刻SER9 Pro HX370与AI 365本地部署deepseek-R1大模型性能对比

测试概述:

在SER9 Pro HX370(64G内存)和AI 365(32G内存)上,使用deepseek-R1模型(1.5B到14B参数,Q2到Q8精度)进行测试。SER9 Pro支持CPU和核显计算。

性能对比:

1. GPU模式:

- 1.5B和7B模型:SER9 Pro因核显优化表现更佳。

- 14B模型:两款主机性能相近。

- GPU模式在显存占用和响应速度上占优。

2. CPU模式:

- 两款主机性能接近。

内存与显存配置:

- 64G内存主机支持48G专用显存;32G内存主机支持24G专用显存。

应用场景建议:

- 日常使用:8B模型,性能与资源占用平衡。

- 高性能需求:14B模型,适合复杂任务。

0 阅读:10
盼晴聊科技

盼晴聊科技

感谢大家的关注