天眼查App显示,2025年6月27日,「大语言模型的推理服务部署方法、装置、设备和存储介质」专利正式进入专利的公布阶段。申请人为天翼云科技有限公司,该项计算专利涉及人工智能技术领域中的大语言模型推理服务部署。据专利信息显示,该方法通过综合考虑参数数量、设备显存容量、计算核心数量及网络信息等因素,在多种设备组合中确定最优配置方案,从而实现推理延迟的显著优化,提升大语言模型在实际应用中的处理效率。发明人为李昭晨。摘要中指出,本申请通过分析文本单元处理能力与硬件资源之间的关系,能够在多设备环境下高效部署推理任务,具备较强的适应性和扩展性。
免责声明:本文内容由开放的智能模型自动生成,仅供参考。