英特尔升级Battlematrix AI推理,多显卡性能提升最高80%

英特尔为其锐炫 Pro 系列 GPU 的 Battlematrix 项目推出首个重磅软件更新 LLM Scaler v1.0,重点优化了 AI 推理能力。

此前,英特尔在 COMPUTEX 2025 推出锐炫 Arc Pro B50 和 B60 显卡,并发布 Project Battlematrix 推理工作站平台,支持最多 8 张锐炫 Pro 显卡,可运行高达 150B 参数的 AI 模型。

Battlematrix 平台集成硬件与定制化软件栈,优化推理性能和企业部署体验;LLM Scaler 是基于 vLLM 框架开发的 AI 大模型推理容器,支持多 GPU 扩展、长序列高效推理及多模态任务。

LLM Scaler v1.0 优化了 vLLM 推理框架,对于 32B KPI 模型,40K 序列长度下性能提升可达 1.8 倍;70B KPI 模型同条件下提升高达 4.2 倍,8B 至 32B 规模模型输出吞吐量提升约 10%。

该版本引入分层在线量化,降低显存占用,并支持管道并行、数据并行、多模态模型及嵌入、重排序等功能,提升模型适应性与扩展性。

LLM Scaler v1.0 集成 XPU Manager 工具,支持 GPU 电源管理、固件升级、诊断及显存带宽检测。

新容器基于 Linux 平台,利用多 GPU 扩展和 PCIe 点对点传输,实现最高 80% 的整体性能提升,支持 ECC、SRIOV、遥测与远程固件更新,满足企业级部署需求。

英特尔强调,新软件栈兼容主流开发流程,集成 OneCCL 基准测试工具,丰富 Battlematrix 平台生态支持。

英特尔计划在本季度内发布更稳固的容器版本,优化 vLLM 服务能力。预计 2025 年第四季度实现 Battlematrix 全功能版本落地,推动大模型推理平台升级,为专业用户提供高效 AI 解决方案。

免责声明:本文内容由开放的智能模型自动生成,仅供参考。

最新文章
Copyright © DoNews 2000-2025 All Rights Reserved
蜀ICP备2024059877号-1