Dense или MoE: почему 30B-модель считает только 3B параметров на токен

Модель на 30 миллиардов параметров может на каждый токен включать только около 3 миллиардов — и при этом сохранять ёмкость большой сети. На примере Nemotron 3.5 Lightning NVIDIA разобрала, как смесь экспертов (MoE) выбирает подмножество весов на шаг, а не прогоняет всю модель целиком.

Две основные схемы сейчас — плотные Dense-модели и MoE. В плотной архитектуре каждый токен проходит через все слои; в MoE маршрутизатор решает, каких «экспертов» включить для конкретного фрагмента текста. От того, как организованы параметры, зависит не меньше, чем от цифры в названии чекпоинта.

Активные параметры важнее номинала

Профиль Nemotron 3.5 Lightning — типичный для MoE: 30B на обложке, около 3B активных на токен. Именно это число показывает, сколько реально считает GPU при генерации, а не суммарный объём весов на диске.

Источник: Dense vs. MoE Models: Active Parameters, Throughput, and When to Choose Each.