DeepEP - DeepSeek 开源的专家并行通信库，专为 MoE 训练和推理设计

DeepEP是什么

DeepEP 是 DeepSeek 开源的 EP（专家并行）通信库，也是首个专为混合专家模型（MoE）训练和推理设计的。它提供高吞吐、低延迟的全对全 GPU 内核，节点内走 NVLink，节点间走 RDMA。DeepEP 还专门针对 DeepSeek-V3 论文中的组限制门控算法做了优化，支持 FP8 数据格式调度，还用上基于 Hook 的通信-计算重叠方法，不占 GPU 计算资源。低延迟内核在推理解码阶段很能打，延迟低到 163 微秒。DeepEP 面向 Hopper GPU 架构，需要 Python 3.8、CUDA 12.3 和 PyTorch 2.1 及以上版本。

DeepEP的主要功能

• 高效通信内核：高吞吐、低延迟的全对全（all-to-all）GPU 内核，MoE 的分发（dispatch）和合并（combine）都靠它。
• 低精度计算支持：支持 FP8 和 BF16 等低精度格式，计算效率上去了，内存需求也降了。
• 优化的通信机制：针对 DeepSeek-V3 论文里的组限制门控算法，DeepEP 给了优化过的内核，支持 NVLink 到 RDMA 的非对称带宽转发，训练和推理预填充都能用。
• 低延迟推理解码：纯 RDMA 的低延迟内核，对延迟敏感的推理解码正合适，最低 163 微秒。
• 通信与计算重叠：基于 Hook 的通信-计算重叠，不占 GPU 的流多处理器（SM）资源，算力用在刀刃上。
• 灵活的资源管理：GPU 资源管理比较灵活，SM 用多少个由用户定，不同负载都能调。
• 网络配置优化：DeepEP 在 InfiniBand 网络上测得很全，虚拟通道（VL）可以做流量隔离，不同类型的流量互不打扰。

DeepEP的项目地址

• Github仓库：https://github.com/deepseek-ai/DeepEP

DeepEP的性能表现

• 高吞吐量内核：测试用的是 H800 GPU 和 CX7 InfiniBand 400 Gb/s RDMA 网卡，吞吐量表现如下：
  • 内节点通信：节点内走 NVLink，分发和合并的瓶颈带宽分别是 153 GB/s 和 158 GB/s。
  • 跨节点通信：跨节点走 RDMA，分发和合并的瓶颈带宽分别达到 43-47 GB/s。
• 低延迟内核：低延迟内核是给推理解码准备的，纯 RDMA，延迟压得很低：
  • 处理 8 个专家 时，分发延迟为 163 微秒，合并延迟为 318 微秒，RDMA 带宽为 46 GB/s。
  • 专家数量加上去，延迟会略有上升；到了 256 个专家 时，分发和合并的延迟分别是 194 微秒 和 360 微秒。
• 系统兼容性：主要兼容 InfiniBand 网络，收敛以太网（RoCE）上也能跑。硬件要 Hopper 架构 GPU，软件要 Python 3.8、CUDA 12.3 和 PyTorch 2.1 及以上版本。

DeepEP的系统要求

• 硬件要求：
  • Hopper 架构的 GPU 才行（如 H100、H800），以后可能会支持更多架构。
  • 设备得支持 GPUDirect RDMA，具体规格看 NVSHMEM 的硬件要求。
  • 节点内靠 NVLink，节点间靠 RDMA 网络。
• 软件要求：
  • Python 3.8 及以上版本。
  • CUDA 12.3 及以上版本。
  • PyTorch 2.1 及以上版本。
  • 要装修改版的 NVSHMEM，安装步骤看相关文档。
  • 建议装上 GDRCopy（v2.4 及以上版本），低延迟的 GPU 内存拷贝要用。
• 网络要求：
  • 测试主要在 InfiniBand 网络上做，也兼容 RDMA over Converged Ethernet (RoCE)。
  • 虚拟通道（VL）能做流量隔离，不同工作负载互不干扰。
• 其他要求：
  • 容器里跑的话，主机要加载好必要的内核模块（比如 gdrdrv），相关的 DEB 包也得装对。
  • 装完之后还要设好环境变量（比如 NVSHMEM_DIR），DeepEP 才能用。

DeepEP的应用场景

• 大规模模型训练：MoE 训练需要的并行通信它给得比较足，训练效率跟着提升。
• 推理任务：对延迟敏感的推理解码场景合适，延迟降下来，吞吐也上去。
• 高性能计算：Hopper GPU 架构等硬件平台都支持，NVLink 和 RDMA 的通信性能也做过优化。
• 智能客服：DeepSeek 的智能客服靠它优化推理，用户的问题回得快。
• 金融领域：风险评估、自动化报告生成都能用，分析企业财报和舆情数据，预测违约概率。