天眼查App显示，2025年6月6日，「基于动态资源分配与知识蒸馏的高效大模型训练优化方法」正式进入专利权的授权阶段。申请人为山东亚微软件股份有限公司，该项人工智能专利涉及机器学习技术领域，特别是在高效大模型训练优化方面具有重要应用价值。据专利信息显示，该方法在训练收敛速度、计算资源利用率和蒸馏效果之间取得最优平衡，实现了显著优化。发明人为曹晓华、杜凯宁、王津、顾晓丽、张春营和蓝孝伟。「本发明通过识别学生模型的知识瓶颈层，结合教师和学生模型在知识瓶颈层上的注意力分布差异计算KL散度，并将KL散度作为蒸馏损失项。同时获取训练过程中的资源利用率，构建帕累托多目标优化函数，采用近端策略优化算法训练资源分配智能体；当教师模型的某个模块对学生模型的贡献度低于阈值时，则冻结该模块并停止其前向计算。这一方法不仅提高了训练效率，还增强了大模型在有限资源下的适应能力。」

免责声明：本文内容由开放的智能模型自动生成，仅供参考。