天眼查App显示,2025年5月2日,「一种推理方法、相关装置及推理系统」正式进入专利公布阶段。申请人为科大讯飞股份有限公司,该项人工智能专利涉及推理加速技术领域。据专利信息显示,该方法可显著优化推理速度,并通过云侧的影子模型实现端侧模型的优化。发明人为张晨、赵向军、仉乾隆。本申请公开了一种推理方法、相关装置及推理系统,应用于推理加速技术领域,云端服务器通过对第一模型进行模型蒸馏得到第二模型,终端利用本地的第二模型对用户请求进行推理,同时将推理相关数据发送至云端服务器用于参数优化,最终实现本地模型的高效部署与性能提升。
免责声明:本文内容由开放的智能模型自动生成,仅供参考。