【[763星]DeepSeek开源的EPLB(Expert Parallelism Load Balancer):用于专家并行负载均衡的开源算法,旨在优化使用多个 GPU 进行深度学习模型训练时的负载分配。亮点:1. 高效负载均衡,提升训练效率;2. 支持层级和全局两种负载均衡策略,灵活适配不同场景;3. 开源代码助力快速部署,加速AI模型训练】
'Expert Parallelism Load Balancer: Efficient load balancing for expert parallelism in deep learning.'
GitHub: github.com/deepseek-ai/EPLB