当前位置: 首页 » 资讯 » 新科技 » 正文

DeepSeek 开源进度 5/5:开源3FS,数据访问速度突破极限

IP属地 北京 编辑:朱天宇 IT之家 时间:2025-02-28 09:32:02

2 月 28 日消息,DeepSeek 在开源周第五天发布了 3FS(Fire-Flyer File System),这是一个专为充分利用现代 SSD 和 RDMA 网络带宽而设计的并行文件系统。该系统展现了惊人的数据访问性能,为深度学习等数据密集型应用提供了强大的支持。

附上开源地址:https://github.com/deepseek-ai/3FS。

基于 3FS 的数据处理框架 Smallpond:https://github.com/deepseek-ai/smallpond。

3FS 性能亮点

集群高吞吐:在 180 节点集群中,3FS 实现了高达 6.6 TiB/s 的聚合读取吞吐量。

基准测试优异:在 25 节点集群的 GraySort 基准测试中,3FS 达到了 3.66 TiB / min 的吞吐量。

单节点高性能:每个客户端节点的 KVCache 查找峰值吞吐量超过 40 GiB/s。

架构先进:3FS 采用去中心化架构,并具备强一致性语义。

3FS 应用场景

3FS (Fire-Flyer File System) 是一款高性能的分布式文件系统,旨在解决 AI 训练和推理工作负载带来的挑战,利用现代 SSD 和 RDMA 网络提供共享存储层,简化分布式应用程序的开发。

其核心优势在于高性能、强一致性和易用性,能够有效支持各种 AI 工作负载,包括数据准备、数据加载、检查点设置和推理缓存。

3FS 在 DeepSeek 的 V3 / R1 版本中得到广泛应用,涵盖了训练数据预处理、数据集加载、检查点保存 / 重新加载、嵌入向量搜索以及推理过程中的 KVCache 查找等关键环节。

Smallpond

此外,DeepSeek 还开源了基于 3FS 的数据处理框架 Smallpond,是一款构建于 DuckDB 和 3FS 之上的轻量级数据处理框架。它拥有高性能数据处理能力,可扩展至 PB 级数据集,并且操作简便,无需长期运行的服务。

免责声明:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其内容真实性、完整性不作任何保证或承诺。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。