英伟达今日宣布,其DeepSeek-R1模型现已在NVIDIA NIM微服务预览版中提供,开发人员可通过build.nvidia.com进行测试和试验。该微服务在单个NVIDIA HGX H200系统上每秒可处理多达3,872 tokens,显著提升了AI模型的运行效率。
DeepSeek-R1 NIM微服务支持行业标准API,简化了AI模型的部署流程。企业可在其首选的加速计算基础设施上运行该服务,确保数据隐私和安全性。此外,结合NVIDIA AI Foundry和NVIDIA NeMo软件,企业还能为专用AI代理创建自定义的DeepSeek-R1 NIM微服务。
英伟达于2024年3月推出的NIM云原生微服务,旨在缩短AI模型的上市时间,并简化其在云、数据中心和GPU加速工作站上的部署。这一举措将有助于各种规模的企业更高效地部署AI服务。
免责声明:本文内容由开放的智能模型自动生成,仅供参考。