10月28日，摩尔线程宣布开源大模型训练基础设施项目Megatron-MUSA-Titan。该项目面向其全功能GPU，专为万卡级集群下的万亿参数MoE模型训练设计，覆盖预训练与强化学习两大场景。已在实际万卡集群中完成长期稳定训练验证，实现高MFU与长稳运行，并支持slime、miles等RL框架及SGLang样本生成。技术上集成blockwise FP8训练、DeepEP与ACE异步通信引擎，优化Token分发、专家并行与计算重叠，显著提升端到端效率。

免责声明：本文内容由开放的智能模型自动生成，仅供参考。