【[622星]DeepSeek Profile Data:深度剖析计算与通信重叠策略,助力高效训练与推理,旨在分析 V3/R1 版本中计算与通信重叠的策略,并提供了详细的性能分析数据。亮点:1. 提供V3/R1的训练和推理框架的深度剖析数据;2. 使用PyTorch Profiler采集数据,可直接在浏览器中可视化;3. 模拟平衡的MoE路由策略,优化性能】
'Profiling Data in DeepSeek Infra: Analyze computation-communication overlap in V3/R1.'
GitHub: github.com/deepseek-ai/profile-data