北京中科金财科技股份有限公司基于Triton-Inference-Server的大模型高性能推理加速方法及系统专利公布(计算专利快讯)

天眼查App显示,2025年5月16日,『基于Triton-Inference-Server的大模型高性能推理加速方法及系统』正式进入专利的公布阶段。申请人为北京中科金财科技股份有限公司,该项计算领域专利涉及大模型推理服务系统的优化与性能提升。据专利信息显示,该技术通过多种量化方法显著优化了推理性能,解决了现有技术在管理复杂性、高时延、低吞吐量及服务鲁棒性方面的局限性问题。发明人为杨宏阳、王骄阳。『本发明公开了一种基于Triton-Inference-Server的大模型高性能推理加速方法及系统,包括接收用户提供的模型配置信息、支持定制化模型上传及优化处理,并采用多种量化方法以优化推理性能。』

免责声明:本文内容由开放的智能模型自动生成,仅供参考。

Copyright © DoNews 2000-2025 All Rights Reserved
蜀ICP备2024059877号-1