DeepGEMM

DeepSeek последовательно выкладывает в открытый доступ FlashMLA и DeepEPИ сегодня она представляет DeepGEMMбиблиотека умножения матриц, оптимизированная специально для графических процессоров архитектуры Hopper. Эта библиотека поддерживает стандартные матричные вычисления и вычисления с использованием смеси экспертов (MoE), обеспечивая надежную поддержку обучения и выводов DeepSeek-V3/R1, достигая высокой производительности 1350+ FP8 TFLOPS на графических процессорах Hopper.

DeepGEMM отличается простотой и эффективностью, содержит всего около 300 строк основного кода и при этом превосходит существующие решения для большинства размеров матриц. Библиотека поддерживает три выравнивания данных: стандартное выравнивание и два специальных выравнивания (последовательное и маскированное), предназначенные для гибридных экспертных моделей. deepGEMM использует компиляцию "на лету", что избавляет от необходимости компиляции во время установки, и имеет четкую, простую для понимания структуру кода, что делает ее идеальной для изучения методов оптимизации на GPU.