中国科学报5月29日报道,西北农林科技大学刘斌教授团队联合美国纽约州立大学、云南大学,在国际权威期刊《IEEE Transactions on Computers》发表研究成果,提出混合并行新算法GroPipe。该算法首次融合流水线模型并行(PMP)与数据并行(DP),通过动态负载均衡技术,显著提升AI模型训练效率。
测试显示,在8-GPU服务器上,GroPipe对ResNet、VGG等模型的训练速度较主流方案提升42.2%至79.2%,BERT-base模型性能最高提升51%。这一突破为解决大规模深度学习中的算力瓶颈提供了新思路。