腾讯玄武实验室最近推出了一套 DeepSeek 满血版的私有化部署优化方案:
使用玄武实验室的软硬件优化方案,只需不到 4 万元人民币的硬件就可部署 DeepSeek-R1-671B-Q8,峰值生成速度 7.17 tokens/s,即每秒输出约 10 个汉字,且整机功耗和噪音和家用台式机类似。
对比传统的 GPU 方案,部署成本降低了97%。
腾讯玄武实验室最近推出了一套 DeepSeek 满血版的私有化部署优化方案:
使用玄武实验室的软硬件优化方案,只需不到 4 万元人民币的硬件就可部署 DeepSeek-R1-671B-Q8,峰值生成速度 7.17 tokens/s,即每秒输出约 10 个汉字,且整机功耗和噪音和家用台式机类似。
对比传统的 GPU 方案,部署成本降低了97%。
猜你喜欢
【6评论】【5点赞】
【3评论】【3点赞】
【184评论】【43点赞】
【57评论】【56点赞】
【823评论】【207点赞】
【6评论】【1点赞】
作者最新文章
热门分类
科技TOP
科技最新文章