天眼查App显示,2025年9月5日,「权重动态优化方法、装置及电子设备」正式进入专利的公布阶段。申请人为杭州海康威视数字技术股份有限公司,该项计算专利涉及人工智能技术领域中的神经网络模型优化。据专利信息显示,该方案通过在知识蒸馏训练过程中动态耦合稀疏化操作,形成端到端训练框架,显著优化了模型压缩后的精度保持能力。发明人为宗泽亮、张凯、李哲暘、谭文明、任烨。本申请实施例提供权重动态优化方法、装置及电子设备,通过在知识蒸馏的每个训练周期下,先利用当前确定出的稀疏度稀疏化当前第一神经网络中的权重参数得到第二神经网络,之后再利用各训练样本和该第二神经网络进行知识蒸馏,这样通过在训练过程中耦合知识蒸馏和稀疏化形成了知识蒸馏与稀疏化动态协同优化的端到端训练框架,不仅能够弥补稀疏化带来的精度损失,以在实现模型压缩的基础上最大限度地减少精度损失,还能够避免由于将稀疏化和知识蒸馏进行分阶段训练带来的性能下降问题。
免责声明:本文内容由开放的智能模型自动生成,仅供参考。