【[18星]NVIDIA JaxPP：为大规模语言模型训练提供灵活的MPMD流水线并行解决方案。亮点：1. 自动将JAX计算拆分为多个SPMD模块，独立编译并分发到不同设备；2. 支持默认JAX多控制器运行时和基于Ray的实验性远程单控制器运行时；3. 提供Docker容器用于开发和测试，简化部署流程】
'JaxPP is a JAX library enabling Multiple-Program Multiple-Data (MPMD) pipeline parallelism through simple user annotations.'
GitHub: github.com/NVIDIA/jaxpp
并行计算 大规模训练 语言模型 AI创造营
