零刻SER9 Pro HX370与AI 365本地部署deepseek-R1大模型性能对比
测试概述:
在SER9 Pro HX370(64G内存)和AI 365(32G内存)上,使用deepseek-R1模型(1.5B到14B参数,Q2到Q8精度)进行测试。SER9 Pro支持CPU和核显计算。
性能对比:
1. GPU模式:
- 1.5B和7B模型:SER9 Pro因核显优化表现更佳。
- 14B模型:两款主机性能相近。
- GPU模式在显存占用和响应速度上占优。
2. CPU模式:
- 两款主机性能接近。
内存与显存配置:
- 64G内存主机支持48G专用显存;32G内存主机支持24G专用显存。
应用场景建议:
- 日常使用:8B模型,性能与资源占用平衡。
- 高性能需求:14B模型,适合复杂任务。