天眼查App显示，2025年6月3日，「模型量化推理加速方法、装置、设备及介质」正式进入专利公布阶段。申请人为深圳平安通信科技有限公司，该项人工智能专利涉及医疗健康及金融科技等业务场景。据专利信息显示，该技术通过基于token重要性分数统一确定每个处理块的量化配置，并在网络模块组内复用该配置，实现了块级别的精度分配与并行量化推理，显著优化长文本推理任务中的执行效率与显存利用率。发明人为瞿晓阳、王健宗、陶伟、卢昊骋。 「本发明涉及人工智能技术领域，可应用于医疗健康及金融科技等业务场景中，公开了一种模型量化推理加速方法、装置、设备及介质，包括：将输入文本划分为多个处理块，对非首个处理块进行重要性评分，按评分结果分配计算精度格式，确定每个处理块的统一量化配置；将网络模块划分为配置共享组，组内共享对应处理块的量化配置；根据统一量化配置执行块级量化推断，生成模型推理结果。本发明通过基于token重要性分数统一确定每个处理块的量化配置，并在网络模块组内复用该配置，实现了块级别的精度分配与并行量化推理，在保障推理精度的同时大幅降低显存开销和配置时间开销，有效提升长文本推理任务中的执行效率与显存利用率。」

免责声明：本文内容由开放的智能模型自动生成，仅供参考。