ProfondoEP

DeepEP è dedicato alle operazioni di distribuzione e fusione di MoE e supporta operazioni a bassa precisione, tra cui FP8. Allo stesso tempo, DeepEP è appositamente ottimizzato per l'algoritmo di group-limit gating proposto nel documento DeepSeek-V3 e fornisce una serie di core ad alte prestazioni per l'inoltro asimmetrico della larghezza di banda del dominio (ad esempio, da domini NVLink a domini RDMA). Questi core non solo hanno un elevato throughput per le attività di addestramento e pre-popolamento dell'inferenza, ma supportano anche il controllo del numero di multiprocessori (SM). Per gli scenari di decodifica dell'inferenza sensibili alla latenza, DeepEP include una serie di core RDMA puri a bassa latenza per ridurre al minimo la latenza. La libreria introduce anche un approccio di sovrapposizione comunicazione-computazione basato su hook che non consuma risorse SM, migliorando ulteriormente l'efficienza.

Un modello esperto ibrido è un'architettura di rete neurale che combina più reti "esperte", con una rete "gated" che decide a quali esperti indirizzare i dati in ingresso. Questa architettura consente al modello di crescere in modo significativo in termini di dimensioni, pur rimanendo efficiente dal punto di vista computazionale, poiché solo alcuni degli esperti vengono attivati alla volta anziché tutte le reti. Il concetto di MoE è stato proposto per la prima volta da Jacobs, Jordan e Hinton nel 1991, ma non è stato ampiamente utilizzato nella modellazione linguistica su larga scala fino agli ultimi anni. L'architettura MoE è utilizzata da Switch Transformers di Google, Z-Code di Microsoft e DeepSeek-V3 di DeepSeek, che consente l'addestramento e la distribuzione di modelli su larga scala attraverso l'attivazione rada degli esperti.

Testiamo i kernel normali su H800 (~160 GB/s di larghezza di banda massima NVLink), con ciascuno collegato a una scheda di rete CX7 InfiniBand 400 Gb/s RDMA (~50 GB/s di larghezza di banda massima). E seguiamo l'impostazione di pre-training di DeepSeek-V3/R1 (4096 token per batch, 7168 nascosti, top-4 gruppi, top-8 esperti, FP8 dispatching e BF16 combining).

Testiamo kernel a bassa latenza su H800 con ciascuno collegato a una scheda di rete CX7 InfiniBand 400 Gb/s RDMA (~50 GB/s di larghezza di banda massima). E seguiamo una tipica impostazione di produzione di DeepSeek-V3/R1 (128 token per lotto, 7168 nascosti, top-8 esperti, dispatching FP8 e combinazione BF16).