浪潮信息完成对Kimi K2万亿参数大模型适配,输出速度达70 tokens/s

浪潮信息近日宣布,其元脑企智一体机已率先完成对月之暗面推出的开源万亿参数大模型Kimi K2的适配支持,并实现单用户70 tokens/s的流畅输出速度。Kimi K2模型总参数量达1万亿,激活参数为320亿,对算力提出极高要求。

元脑企智一体机基于元脑服务器NF5688G7构建,搭载FP8计算引擎,配备1128GB HBM3e高速显存,单台服务器即可支持K2全量模型部署,显著提升大模型训练和推理效率。该方案通过专家间高速并行通信技术,最大化并行效率,为超大规模模型应用提供稳定支撑。

最新文章
Copyright © DoNews 2000-2025 All Rights Reserved
蜀ICP备2024059877号-1