6月20日，华为开发者大会2025上，华为常务董事、华为云计算CEO张平安宣布，基于CloudMatrix384超节点的新一代昇腾AI云服务全面上线，为大模型应用提供强大算力支持。
新一代昇腾AI云服务通过将384颗昇腾NPU和192颗鲲鹏CPU通过全新高速网络MatrixLink互联，形成超级“AI服务器”，单卡推理吞吐量达到2300 Tokens/s。此架构支持混合专家MoE大模型推理，实现“一卡一专家”，一个超节点可支持384个专家并行推理，并提升算力有效使用率（MFU）超过50%。
对于大规模参数模型训练任务，可将432个超节点级联成最高16万卡的超大集群，同时支持训推算力一体部署，如“日推夜训”，灵活分配资源，优化客户资源使用效率。
新浪基于CloudMatrix384昇腾AI云服务构建统一推理平台，交付效率提升超50%，模型上线速度加快；硅基流动利用该服务为数百万用户提供DeepSeek V3、R1推理服务；面壁智能的小钢炮模型性能提升2.7倍。
中科院借助CloudMatrix384超节点打造自有模型训练框架，快速构建AI for Science科研大模型，减少对国外算力依赖。360纳米AI搜索也已开启测试，满足其超级AI搜索服务的算力需求。
目前，昇腾AI云服务已为超过1300家客户提供算力支持，推动各行业智能化升级。
免责声明：本文内容由开放的智能模型自动生成，仅供参考。
