DeepSeek 开源进度 5/5:高性能并行文件系统 3FS 实现聚合吞吐 6.6 TiB/s
2025-02-28 19:40:37 小编:鑫昌软件园
本站 2 月 28 日消息,DeepSeek 在开源周第五天发布了 3FS(Fire-Flyer File System),这是一个专为充分利用现代 SSD 和 RDMA 网络带宽而设计的并行文件系统,具备惊人的数据访问性能,为深度学习等数据密集型应用提供了强大的支持。
本站附上开源地址:https://github.com/deepseek-ai/3FS。
基于 3FS 的数据处理框架 Smallpond:https://github.com/deepseek-ai/smallpond。

3FS 性能亮点
集群高吞吐: 在 180 节点集群中,3FS 实现了高达 6.6 TiB/s 的聚合读取吞吐量。
基准测试优异: 在 25 节点集群的 GraySort 基准测试中,3FS 达到了 3.66 TiB / min 的吞吐量。
单节点高性能: 每个客户端节点的 KVCache 查找峰值吞吐量超过 40 GiB/s。
架构先进: 3FS 采用去中心化架构,并具备强一致性语义。
3FS 应用场景
3FS (Fire-Flyer File System) 是一款高性能的分布式文件系统,旨在解决 AI 训练和推理工作负载带来的挑战,利用现代 SSD 和 RDMA 网络提供共享存储层,简化分布式应用程序的开发。
其核心优势在于高性能、强一致性和易用性,能够有效支持各种 AI 工作负载,包括数据准备、数据加载、检查点设置和推理缓存。
3FS 在 DeepSeek 的 V3 / R1 版本中得到广泛应用,涵盖了训练数据预处理、数据集加载、检查点保存 / 重新加载、嵌入向量搜索以及推理过程中的 KVCache 查找等关键环节。
Smallpond
此外,DeepSeek 还开源了基于 3FS 的数据处理框架 Smallpond,是一款构建于 DuckDB 和 3FS 之上的轻量级数据处理框架。它拥有高性能数据处理能力,可扩展至 PB 级数据集,并且操作简便,无需长期运行的服务。
相关阅读:
《DeepSeek 开源进度 4/5:DualPipe、EPLB 优化并行策略》
《DeepSeek 开源进度 3/5:深度学习利器 DeepGEMM》
《DeepSeek 开源进度 2/5:首个用于 MoE 模型训练和推理的 EP 通信库 DeepEP》
《DeepSeek 代码库开源进度 1/5:为 Hopper GPU 优化的高效 MLA 解码内核 FlashMLA》
- 猜你喜欢
-
恶魔老虎机单机游戏手机版56.89MB手游下载 -
假面骑士03变身模拟器最新版98.8MB手游下载 -
死盘子中文版20.94MB手游下载 -
侠客英雄传3重制版安卓移植版75.91MB手游下载 -
街头学校模拟器正版无广告中文版111.74MB手游下载 -
暗黑远征(原味北神沉默)193.5MB手游下载 -
无畏契约开箱模拟器手机版36.22MB手游下载 -
永恒领主手游0.05折版391MB手游下载 -
自由城计划史蒂夫版手机版199.38MB手游下载
- 相关手机游戏
-
横扫山河永久0.1折版42.4MB手游下载 -
奇妙猫咪世界最新版本170.66MB手游下载 -
大刀客手游0.05折版12.7MB手游下载 -
巴士模拟器EVO中文版1100.18MB手游下载 -
街霸VS铁拳手机版82.2MB手游下载 -
瑞克和莫蒂回家之路汉化版297.08MB手游下载 -
代号752自由之路完整版373.3MB手游下载 -
绿茵奇迹官方正版996.08MB手游下载 -
疾风剑魂(0.05折)727.99MB手游下载
- 推荐鑫昌秘籍
- 最新手机精选
-
九七电影院手机版支持微信微博最新版本下载2025-03-18手游下载 | 73.63MB -
爱威奶app下载最新版2025-02-07手游下载 | 44.8MB -
假面骑士03变身模拟器最新版2025-05-15手游下载 | 98.8MB -
植物大战僵尸自然版2025-01-26手游下载 | 165.1MB -
无畏契约开箱模拟器手机版2025-05-15手游下载 | 36.22MB -
黄色直播软件app2024最新版2025-01-30手游下载 | 65.42MB






























