天眼查App显示,2025年7月15日,「多元算力推理装置、方法、电子设备、程序及存储介质」正式进入专利的公布阶段。申请人为浪潮电子信息产业股份有限公司,该项计算;推算;计数专利涉及模型推理技术领域。据专利信息显示,该发明通过第一资源组和第二资源组分别执行预填充运算与解码运算,实现高效的推理并显著优化资源利用率。发明人为李磊;王月;李柏宏;吴韶华。本申请包括控制单元用于读取推理模型的模型参数并载入至第一资源组和第二资源组,接收推理请求并发送至第一资源组;第一加速卡的算力大于第二加速卡的算力,第二加速卡的带宽大于第一加速卡的带宽;第一资源组用于通过自身的各张第一加速卡执行运算,并将结果通过加速器互联交换机发送至第二资源组;第二资源组通过各张第二加速卡执行解码运算,得到推理结果,解决了资源利用率不高的技术问题。
免责声明:本文内容由开放的智能模型自动生成,仅供参考。