在 DeepSeek 开源周第四日,摩尔线程宣布成功支持 DeepSeek 的开源通信库 DeepEP 和并行算法 DualPipe,并发布相关代码仓库:MT-DeepEP 和 MT-DualPipe。
DeepEP 是专为 MoE(混合专家)模型训练和推理设计的通信库,适用于大模型集群训练。它通过优化通信信道使用率,显著提升了训练效率。摩尔线程基于 MUSA Compute Capability 3.1 全功能 GPU 适配了 DeepEP,支持高效 All-to-All 通信、节点内通信、高吞吐量计算核心及低延迟推理解码等功能,并原生支持 FP8 数据分发。
DualPipe 则是 DeepSeek-V3 提出的双向流水线并行算法,通过计算与通信完全重叠,减少了设备空闲等待现象。摩尔线程依托深度学习框架 Torch-MUSA 和 MUSA 软件栈的兼容性,实现了对 DualPipe 的支持。MT-DualPipe 可接入 MT-Megatron 和即将开源的 MT-TransformerEngine 框架,进一步降低气泡占比,优化通信效率,实现更高效的计算资源利用。