DeepSeek发布高性能并行文件系统3FS,助力AI数据密集型应用

在开源周的第五天,DeepSeek正式发布了3FS(Fire-Flyer File System),这是一款专为现代SSD和RDMA网络带宽设计的并行文件系统,旨在为深度学习等数据密集型应用提供卓越的性能支持。3FS以其去中心化架构和强一致性语义为核心,在集群高吞吐、基准测试和单节点性能方面表现优异。例如,在180节点集群中,3FS实现了高达6.6 TiB/s的聚合读取吞吐量,在25节点集群的GraySort基准测试中达到了3.66 TiB/min的吞吐量。

3FS的应用场景广泛,涵盖AI训练和推理的多个关键环节,包括数据准备、加载、检查点设置和推理缓存。此外,DeepSeek还开源了基于3FS的数据处理框架Smallpond,这款轻量级框架结合DuckDB和3FS的优势,可扩展至PB级数据集,操作简便且无需长期运行服务。

最新文章
Copyright © DoNews 2000-2025 All Rights Reserved
蜀ICP备2024059877号-1