DeepEP

O DeepEP é dedicado às operações de distribuição e fusão de MoE, e suporta operações de baixa precisão, incluindo FP8. Ao mesmo tempo, o DeepEP é especialmente otimizado para o algoritmo de limite de grupo proposto no documento DeepSeek-V3 e fornece uma série de núcleos de alto desempenho para encaminhamento de largura de banda de domínio assimétrico (por exemplo, de domínios NVLink para domínios RDMA). Estes núcleos não só têm um elevado rendimento para tarefas de pré-população de formação e inferência, como também suportam o controlo de contagem de multiprocessadores (SM) de fluxo. Para cenários de decodificação de inferência sensíveis à latência, o DeepEP inclui um conjunto de núcleos puros de baixa latência RDMA para minimizar a latência. A biblioteca também introduz uma abordagem de sobreposição de comunicação-computação baseada em gancho que não consome nenhum recurso SM, melhorando ainda mais a eficiência.

Um modelo de perito híbrido é uma arquitetura de rede neural que combina várias redes de "peritos", com uma rede "fechada" que decide para que peritos devem ser encaminhados os dados de entrada. Esta arquitetura permite que o modelo cresça significativamente em tamanho, mantendo-se computacionalmente eficiente, uma vez que apenas alguns dos especialistas são activados de cada vez, em vez de todas as redes. O conceito de MdE foi proposto pela primeira vez por Jacobs, Jordan e Hinton em 1991, mas não foi amplamente utilizado na modelação de línguas em grande escala até aos últimos anos. A arquitetura MoE é utilizada pelo Switch Transformers da Google, pelo Z-Code da Microsoft e pelo DeepSeek-V3 da DeepSeek, que permite a formação e implementação de modelos em grande escala através da ativação esparsa de especialistas.

Testamos kernels normais no H800 (~160 GB/s de largura de banda máxima NVLink), com cada um conectado a uma placa de rede CX7 InfiniBand 400 Gb/s RDMA (~50 GB/s de largura de banda máxima). E seguimos a configuração de pré-treinamento do DeepSeek-V3/R1 (4096 tokens por lote, 7168 ocultos, top-4 grupos, top-8 especialistas, envio FP8 e combinação BF16).

Testamos kernels de baixa latência no H800 com cada um conectado a uma placa de rede CX7 InfiniBand 400 Gb/s RDMA (~50 GB/s de largura de banda máxima). E seguimos uma configuração de produção típica do DeepSeek-V3/R1 (128 tokens por lote, 7168 ocultos, especialistas top-8, envio FP8 e combinação BF16).