3FS - DeepSeek推出的高性能分布式文件系统

3FS是什么

3FS（Fire-Flyer File System）是DeepSeek推出的高性能分布式文件系统，为 AI 训练和推理而设计。3FS 用现代 SSD 和 RDMA 网络，基于分离式架构把数千个 SSD 的吞吐量、数百个存储节点的带宽聚到一起，读取吞吐量最高 6.6 TiB/s。3FS 还提供强一致性保障和通用文件接口，不用另学一套存储 API。3FS 在大规模数据处理和推理优化上很强：GraySort 测试里吞吐量达到 3.66 TiB/min，KVCache 读取吞吐量能到 40 GiB/s。

3FS的主要功能

• 高性能数据访问：把数千个SSD的吞吐量和数百个存储节点的带宽聚起来，读取吞吐量最高6.6 TiB/s。大规模集群里的高吞吐并行读写没问题，AI 训练和推理的数据加载也快。
• 强一致性保障：用的是链式复制与分配查询（CRAQ），数据强一致，应用那边的开发也不用为一致性多写逻辑。
• 通用文件接口：无状态元数据服务，底下接事务性键值存储（如FoundationDB），用户不用学新的存储 API。
• 优化AI工作负载：
  • 数据准备：大量中间输出管得过来，层次化目录结构也支持。
  • 数据加载：跨计算节点随机访问，不用预取，也不用打乱数据集。
  • 检查点支持：大规模训练要的并行检查点，吞吐量能跟上。
  • KVCache：推理任务可以拿它做缓存，吞吐高、容量大，能替掉一部分内存缓存。
• 高扩展性和灵活性：单节点到数千节点的集群都能部署。

3FS的技术原理

• 分离式架构：计算和存储分开，存储资源集中管，数据走 RDMA 这类高速网络。应用访问存储时不用关心位置，资源管理也简单。
• 链式复制与分配查询（CRAQ）：3FS 的强一致性靠 CRAQ：链式复制保证多个副本之间一致，分配查询把读取性能和延迟也照顾到了。
• 无状态元数据服务：3FS 的元数据服务是无状态的，底层用事务性键值存储（如FoundationDB），扩展性上去了，元数据管理也没那么绕。
• Direct I/O与RDMA优化：Direct I/O 直接读 SSD，绕过文件缓存，CPU 和内存开销都小；传输走 RDMA，性能又往上抬了一截。
• KVCache技术：推理时把关键的中间结果放进 KVCache，重复计算就省了。吞吐高、容量大，成本又比 DRAM 缓存低，可以顶替一部分。
• 数据局部性优化：数据布局和访问模式都做了优化，传输延迟和带宽消耗都降下来，大规模分布式训练和推理里效果尤其明显。

3FS的性能表现

• 大规模读取吞吐量：测试集群有 180 个存储节点，每个节点配 2×200Gbps InfiniBand 网卡和 16 个 14TiB NVMe SSD；读压测用了大约 500+ 个客户端节点，每个配 1x200Gbps InfiniBand 网卡。训练作业的背景流量还在跑，聚合读吞吐最终达到约 6.6 TiB/s。
• GraySort性能测试：3FS 在 GraySort 基准测试里表现不错。GraySort 测的是大规模数据排序，用来衡量分布式系统的数据处理能力。测试集群有25个存储节点（每个节点2个NUMA域，每个域1个存储服务，2×400Gbps NIC）和50个计算节点（每个节点192个物理核心，2.2 TiB内存，1×200Gbps NIC）。3FS 把110.5 TiB数据分成8192个分区排完，用了30分钟14秒，平均吞吐量3.66 TiB/min。
• KVCache推理优化：3FS 的 KVCache 是为 LLM（大语言模型）推理做的缓存，把解码层里的关键向量和值向量存下来，重复计算就免了。性能测试中读取吞吐峰值达到40 GiB/s。垃圾回收（GC）的 IOPS 也不低，缓存的清理和更新跟得上。

3FS的项目地址

• GitHub仓库：https://github.com/deepseek-ai/3FS

3FS的应用场景

• 大规模AI训练：海量数据读写快，训练也跟着提速。
• 分布式数据处理：数据加载和管理都做了优化，随机访问直接来，不用预取或洗牌。
• 推理优化：KVCache 缓存中间结果，重复计算少了，推理更快。
• 检查点支持：并行检查点吞吐量高，训练中断了也能接着来。
• 多节点计算环境：能接进大规模集群，扩容也灵活，不同规模的 AI 应用都撑得住。