DeepSeek发布首个开源MoE模型训练与推理通信库DeepEP

在DeepSeek“开源周”活动的第二天,该公司正式发布了DeepEP,这是首个开源的用于混合专家(MoE)模型训练和推理的专家并行(EP)通信库。DeepEP以其高效优化的全到全通信方式、支持NVLink和RDMA技术以及高吞吐量和低延迟的内核设计,成为MoE模型开发的重要工具。

DeepEP不仅支持低精度计算(包括FP8数据格式),还针对不对称带宽转发进行了优化,适合训练和推理的预填充任务。此外,其低延迟内核采用纯RDMA技术,显著优化了推理解码速度。通过基于Hook的通信与计算重叠方法,DeepEP进一步提升了GPU资源利用效率。

当前,DeepEP支持Hopper GPU架构,并需要Python 3.8、CUDA 12.3、PyTorch 2.1及以上版本,同时依赖NVLink和RDMA网络进行节点间通信。该库的开源为MoE模型的开发和应用提供了更多可能性。

Copyright © DoNews 2000-2025 All Rights Reserved
蜀ICP备2024059877号-1