5月30日电,华为推出参数规模达7180亿的盘古Ultra MoE模型,这是全流程基于昇腾AI计算平台训练的准万亿MoE模型。同时,华为发布相关技术报告,披露架构与训练方法的创新细节。超大规模MoE模型训练面临稳定性挑战,盘古团队通过架构优化和方法创新,成功实现全流程训练,标志着昇腾在超大规模训练性能上的突破。
免责声明:本文内容由开放的智能模型自动生成,仅供参考。
5月30日电,华为推出参数规模达7180亿的盘古Ultra MoE模型,这是全流程基于昇腾AI计算平台训练的准万亿MoE模型。同时,华为发布相关技术报告,披露架构与训练方法的创新细节。超大规模MoE模型训练面临稳定性挑战,盘古团队通过架构优化和方法创新,成功实现全流程训练,标志着昇腾在超大规模训练性能上的突破。
免责声明:本文内容由开放的智能模型自动生成,仅供参考。