MoE — почему DeepSeek и Qwen тянут дешевле плотных моделей

Смесь экспертов (MoE) , один из главных архитектурных трендов при обучении больших моделей. DeepSeek, Qwen и Mixtral на этом принципе догоняют плотные аналоги по качеству, а на тренировку уходит лишь часть вычислительного бюджета. Механизм , условное вычисление. Вместо одной плотной feed-forward сети на все токены модель включает только нужную долю параметров: весов много, но в каждом проходе задействована не вся масса целиком. Так MoE удешевляет масштабное обучение без просадки по результату , те же DeepSeek, Qwen и Mixtral показывают уровень плотных моделей, не раскачивая весь бюджет на каждый слой сразу. Источник: Accelerating Dropless MoE Training in JAX with NVIDIA Transformer Engine .