腾讯开源HPC-Ops高性能LLM推理算子库

2026年2月5日,腾讯混元AI Infra团队正式开源生产级高性能大语言模型(LLM)推理核心算子库HPC-Ops。该库面向电商等真实业务场景优化,实测显示混元模型推理QPM提升30%,DeepSeek模型QPM提升17%。在单算子性能上,Attention、GroupGEMM和FusedMoE分别较FlashInfer/FlashAttention、DeepGEMM及TensorRT-LLM最高提升2.22倍、1.88倍和1.49倍。此举旨在加速国产AI基础设施生态建设。

免责声明:本文内容由开放的智能模型自动生成,仅供参考。

最新文章
Copyright © DoNews 2000-2026 All Rights Reserved
京ICP备2025120072号