腾讯玄武实验室最近推出了一套DeepSeek满血版的私有化部署优化方案:使用

机智鸟 2025-03-18 18:36:27

腾讯玄武实验室最近推出了一套 DeepSeek 满血版的私有化部署优化方案:

使用玄武实验室的软硬件优化方案,只需不到 4 万元人民币的硬件就可部署 DeepSeek-R1-671B-Q8,峰值生成速度 7.17 tokens/s,即每秒输出约 10 个汉字,且整机功耗和噪音和家用台式机类似。

对比传统的 GPU 方案,部署成本降低了97%。

0 阅读:44
机智鸟

机智鸟

感谢大家的关注