DeepSeek开源周第4天：DualPipe、EPLB优化并行策略

游乐看科技 2025-02-27 13:44:39

DeepSeek 开源周第 4 天：DualPipe、EPLB 优化并行策略 2月27日，DeepSeek 在其“开源周”进度中发布了优化并行策略的项目。此次更新包括： DualPipe：一种双向管道并行算法，用于 V3/R1 训练中的计算-通信重叠，能实现计算和通信阶段的完全重叠，并减少流水线气泡。 EPLB：专家并行负载均衡器，确保在使用专家并行时，不同 GPU 负载平衡，优化专家分配并减少数据流量。 计算-通信重叠分析：分享 V3/R1 中的训练和推理数据，帮助社区理解计算-通信重叠策略。 这些开源项目有助于进一步提升 DeepSeek 的计算效率和资源利用率。

0 阅读：8
游乐看科技

游乐看科技

感谢大家的关注

作者最新文章

1
EA 开源包括红警在内的四款《命令与征服》经典游戏 今天，EA 在 GitHu
2
微软更新支持文档确认已修复 Outlook 经典版无法拖放移动邮件和日历的问题，
3
谷歌正在为 Chrome 开发分屏功能，对于屏幕较小的用户来说借助分屏功能并排显
4
微软被曝 5 月关停 Skype，并建议用户迁移至 Teams XDA 今日援
5
Mozilla新版Firefox使用条款引发用户困惑 Mozilla更新Fir
6
非常智能！微软 Copilot AI 指导用户使用 MAS 脚本分步骤激活 Wi
7
DeepSeek开源日第 5 天：高性能分布式文件系统Fire-Flyer Fi
8
亚马逊首款量子计算芯片Ocelot问世 亚马逊网络服务（AWS）推出了其首款量
9
OpenAI发布GPT-4.5预览版 GPT-4.5是OpenAI目前除o3m
10
Fish Shell 发布了使用 Rust 语言重写的 4.0.0 正式版。

热门分类

推荐 热榜 军事 NBA 体育 社会 明星八卦 娱乐 财经 科技 汽车 历史 国际 游戏 动漫 公益 搞笑 商业 互联网 数码 国际足球 房产 家居 时尚 科学探索 职场 育儿 股票 教育 影视 情感 热点 中国军情 武器 中国南海 中国足球 亚洲杯 科比 综合体育 CBA 投资 楼市 大咖秀 外汇 创业 风口 SUV 豪车 概念车 优惠 新能源 美国 欧洲 朝日韩 俄罗斯 孕期 街拍 恋爱攻略 婚姻 正能量

科技TOP

1
为什么央视不让苹果露出？在2024年春晚上，有一个细节值得注意，陈奕迅使用的
2
夸DeepSeek厉害可以，但是显得公务员很……难评
3
快来看巴黎人工智能峰会上的合影，冯德莱恩站C位，可她肩上那只手更抢镜。好多人都在
4
京东首个为外卖小哥上社保刘强东成给外卖骑手上社保第一人东哥进军外卖，要给
5
小米集团市值全球第100名目前仍然在爬升阶段，我估计还能够翻倍羡慕那些大赚特赚的
6
将DeepSeek接入Excel，实现一键做表
7
据网友爆料，广东湛江deepseek创始人梁文峰，除夕回乡过年，家乡人拉横幅
8
iPhone17系列将采用LTPO屏幕也就是说，标准版iPhone终于要放弃6
9
一个月前：阿里要亡。现在：中国ai第一股。
10
马斯克自曝死亡:凌晨3:00马斯克在自家的推特上预告死亡：有一些人想搞死我！随

科技最新文章

1
当小米15Ultra价格公布后，整个市场炸锅了，才6499起，这哪是碾压，完全不
2
给最近要买手机的人一些建议：1.别选华为，无论你准备花多少钱，选择其他品牌
3
手机尾号识人:1、尾号9:(是大佬)2、尾号8:(有实力)3、尾号6:(很
4
小米股价又双叒叕涨了！得益于小米双Ultra发布会等利好消息，今天小米集团港
5
A50冲高回落！指数小幅反弹，机器人大涨4.35%中概股指隔夜逆势反弹，也是
6
小米集团股价持续攀升，今日最高点达55.200港元。
7
一觉醒来，美团王兴天塌了！本以为给员工缴上社保就可以了，可结果呢?没想到大强
8
难怪三星在国内卖得不好。。。你这样子搞，谁受得了？这才发布多久，三星S2
9
DeepSeek一开源，全世界都知道怎么玩了，现在荷兰有人已经用10美元的成本复
10
小米手机最成功，口碑最好的5款机型，你用过哪几款，使用过一款绝对是最懂手机的那一