天眼查App显示，2025年6月13日，「语言模型训练方法、文本处理方法、装置、设备及介质」正式进入专利公布阶段。申请人为科大讯飞股份有限公司，该项自然语言处理专利涉及基于教师模型与学生模型的蒸馏训练技术。据专利信息显示，该技术显著优化了存储成本，并提升了蒸馏训练效率。发明人为邱昌盛、法羚玲、邱忠银、李锐、胡友华、刘权、胡国平、刘聪和王士进。 「本发明提供一种语言模型训练方法、文本处理方法、装置、设备及介质，涉及自然语言处理技术领域，其中方法包括：基于教师模型，预测样本文本中各数据单元对应的第一概率矩阵；第一概率矩阵包括各数据单元属于第一词表中各词元的概率值；根据第一概率矩阵中各概率值的数值大小，对第一概率矩阵进行压缩，得到各数据单元对应的第二概率矩阵；根据第二概率矩阵中各概率值对应的词元，对第二词表进行对齐操作，得到第三词表；根据第三词表和第二概率矩阵，对学生模型进行蒸馏训练，得到目标语言模型，由此降低了存储成本，提升了蒸馏训练效率，而且使得据此训练的目标语言模型在保持高性能的同时，可更好地适应不同的模型架构和文本处理场景。」

免责声明：本文内容由开放的智能模型自动生成，仅供参考。