ディープEP

DeepEPはMoEの分配とマージ演算に特化しており、FP8を含む低精度演算をサポートしている。同時に、DeepEPは、DeepSeek-V3論文で提案されたグループリミットゲーティングアルゴリズム用に特別に最適化されており、非対称ドメイン帯域幅転送（NVLinkドメインからRDMAドメインへの転送など）用の一連の高性能コアを提供する。これらのコアは、トレーニングや推論のプリ・ポピュレーション・タスクに対して高いスループットを持つだけでなく、ストリーム・マルチプロセッサ（SM）のカウント制御もサポートしています。レイテンシに敏感な推論デコーディングシナリオのために、DeepEPには、レイテンシを最小化するための純粋なRDMA低レイテンシコアのセットが含まれています。また、このライブラリは、SMリソースを消費しないフックベースの通信と計算のオーバーラップアプローチを導入し、効率をさらに向上させています。

ハイブリッドエキスパートモデルとは、複数の「エキスパート」ネットワークを組み合わせたニューラルネットワークアーキテクチャであり、「ゲート」ネットワークが入力データをどのエキスパートにルーティングするかを決定する。MoEのコンセプトは1991年にJacobs、Jordan、Hintonによって初めて提案されたが、近年まで大規模な言語モデリングには広く使われていなかった。MoEアーキテクチャは、GoogleのSwitch Transformers、MicrosoftのZ-Code、DeepSeekのDeepSeek-V3で使用されており、エキスパートの疎な活性化を通じて、より大規模なモデルの学習と展開を可能にしている。

H800（～160 GB/sのNVLink最大帯域幅）で通常のカーネルをテストし、それぞれをCX7 InfiniBand 400 Gb/s RDMAネットワークカード（～50 GB/sの最大帯域幅）に接続しました。また、DeepSeek-V3/R1の事前学習設定（バッチあたり4096トークン、7168非表示、トップ4グループ、トップ8エキスパート、FP8ディスパッチ、BF16結合）に従っています。

低レイテンシのカーネルをH800でテストし、それぞれをCX7 InfiniBand 400 Gb/s RDMAネットワークカードに接続しました（最大帯域幅は50 GB/s）。また、典型的なDeepSeek-V3/R1の本番環境（バッチあたり128トークン、7168の非表示、トップ8のエキスパート、FP8のディスパッチ、BF16の結合）に従っています。