天眼查App显示，2025年7月25日，分布式训练中的数据并行通信方法、装置、存储介质和程序产品正式进入专利的公布阶段。申请人为摩尔线程智能科技（北京）股份有限公司，该项计算专利涉及大规模机器学习中的分布式训练场景。据专利信息显示，该方案通过全局收集操作与归约分散操作，有效减少通信开销，提升训练效率达显著优化水平。发明人为请求不公布姓名。本公开涉及一种分布式训练中的数据并行通信方法、装置、存储介质和程序产品。所述方法包括：对于参与目标模型的分布式训练的计算设备集群中的任一计算设备，在前向传播过程中，通过全局收集操作获得目标模型的全局最新参数，并基于计算设备对应的训练数据子集和目标模型的全局最新参数进行前向传播计算，得到计算设备对应的损失值，其中，计算设备集群中的不同计算设备基于不同的训练数据子集进行前向传播计算；对于任一计算设备，在反向传播过程中，基于计算设备对应的损失值，计算得到计算设备对应的梯度，并通过归约分散操作将计算设备对应的梯度传输至计算设备集群中的其他计算设备。本公开能够减少通信开销，提高大规模训练的效率。

免责声明：本文内容由开放的智能模型自动生成，仅供参考。