深度教育

DeepEP 专用于 MoE 分配和合并操作，支持包括 FP8 在内的低精度操作。同时，DeepEP 专门针对 DeepSeek-V3 论文中提出的组限制门控算法进行了优化，并提供了一系列高性能内核，用于非对称域带宽转发（例如从 NVLink 域到 RDMA 域）。这些内核不仅对训练和推理预填充任务具有高吞吐量，而且还支持流多处理器（SM）计数控制。对于延迟敏感的推理解码场景，DeepEP 包含一组纯 RDMA 低延迟内核，以最大限度地减少延迟。该库还引入了基于钩子的通信-计算重叠方法，不消耗任何 SM 资源，进一步提高了效率。

混合专家模型是一种结合多个 "专家 "网络的神经网络架构，由一个 "门控 "网络决定将输入数据发送给哪些专家。这种架构允许模型的规模大幅增长，同时保持计算效率，因为每次只激活部分专家，而不是所有网络。MoE 概念由 Jacobs、Jordan 和 Hinton 于 1991 年首次提出，但直到近几年才被广泛用于大规模语言建模。谷歌的 Switch Transformers、微软的 Z-Code 和 DeepSeek 的 DeepSeek-V3 都采用了 MoE 架构，通过稀疏激活专家来实现更大规模的模型训练和部署。

我们在 H800（约 160 GB/s NVLink 最大带宽）上测试普通内核，每个内核都连接到 CX7 InfiniBand 400 Gb/s RDMA 网卡（约 50 GB/s 最大带宽）。我们采用 DeepSeek-V3/R1 预训练设置（每批 4096 个令牌、7168 个隐藏、前 4 组、前 8 个专家、FP8 调度和 BF16 组合）。

我们在 H800 上测试低延迟内核，每个内核都连接到 CX7 InfiniBand 400 Gb/s RDMA 网卡（最大带宽约为 50 GB/s）。我们采用典型的 DeepSeek-V3/R1 生产设置（每批 128 个令牌、7168 个隐藏令牌、前 8 名专家、FP8 调度和 BF16 组合）。