燧原科技发布云端AI推理卡“云燧i20”

燧原科技重磅发布第二代云端人工智能推理加速卡“云燧i20”,这是继今年7月发布云端人工智能训练加速卡“云燧T20”之后,燧原科技又推出的全新一代针对云端推理场景的AI加速产品。

据了解,云燧i20的AI加速卡存储带宽高达819 GB/s,同时全面支持从FP32、TF32、FP16、BF16到INT8的计算精度。单精度FP32峰值算力达到32 TFLOPS,单精度张量TF32峰值算力达到128 TFLOPS,整型INT8峰值算力达到256 TOPS。对比第一代推理产品,云燧i20将浮点算力提升到1.8倍,整型算力提升到3.6倍。升级后的“驭算TopsRider”软件栈,将模型平均性能提升3.5倍,硬件算力利用率平均提升2倍;通过升级的编程模型以及算子自动分片、自动生成技术,自定义算子开发效率翻倍,模型迁移成本大大降低;此外,驭算增强了对动态性的支持,使云燧i20在检测、语音识别、语义理解等场景更具竞争力。基于虚拟化和多实例加速技术,云燧i20能够实现单卡多用户,同时支持6个业务互不干扰、安全隔离运行,让更多云端推理应用同时享受专有的算力加速,为客户业务架构带来轻耦合、灵活可靠的实现方式,显著提升资源利用率与投入产出比。

Copyright © DoNews 2000-2024 All Rights Reserved
蜀ICP备2024059877号-1     京ICP证151088号
京网文【2018】2361-237号