Перейти к содержимому
Экосистема AI Vibe

Новости

180B MoE на 32 ГБ: стриминг экспертов в Transformers почти догнал Strata

Редакция 18 ноября 2026 г.

Ноутбук с ограниченной памятью подгружает выбранные эксперты большой MoE-модели с SSD в кэш GPU, пока движок считает следующий токен.

На Mac с 32 ГБ памяти Qwen3.8-Flash-Next держит 121 ГБ экспертов на SSD и подгружает только те, что выбрал роутер MoE , Tarek Ziadé дотянул стриминг в Hugging Face Transformers почти до уровня Strata: на короткой генерации разрыв около 6%. Раньше offload через Accelerate на таком железе давал 0,16 ток/с, после правок decode вырос до 13,9 против 14,8 у Strata 0.1.60. Автор работает гибридом: дома две RTX 4090 под Qwen и автодополнение в Neovim, в облаке , модели вроде Opus для оркестрации агентов. Скорость порядка 14 ток/с для сценария «агент пишет код» он по-прежнему считает тугой, но показывает, что крупные MoE, которые не влезают в память ноутбука, можно гонять в одном Python-стеке без отдельного движка. Как устроена подгрузка У модели 48 слоёв по 512 экспертов, на каждый токен активны 10; отдельно 51 ГБ n-gram-таблицы эмбеддингов тоже читают с диска по запросу. В рабочей схеме эксперты квантуются до 3 бит (49 ГБ на SSD), кэш на устройстве , 12 GiB, плотные слои в 8 бит (~5,4 ГБ). После старта занято ~18 GiB, на промпте в 6K токенов пик , 25,4 GiB. slot pool , общий буфер на GPU и таблица expert id → слот: роутер видит обычный банк, срабатывает grouped_mm prefetch , считают роутеры соседних слоёв заранее; при промахе , 8 потоков чтения, один непрерывный read на эксперта вход в API , опция experts_offload в from_pretrained , ветка PR huggingface/transformers#50717 , демо и скрипты , Space tarekziade/moe-expert-streaming Где остальные движки На одной A10G с Qwen3.6-35B-A3B Strata в Q8_0 выдавала 82, 88 ток/с decode, llama.cpp с --fit on , 63, 64, связка Transformers + Accelerate , 0,16. На том же Mac M5 после доработок prefill дошёл до ~228 ток/с (у Strata 220), decode после документа на 6K , 12,4 против 13,7. Основной лаг , ~10 мс на токен между хостом и GPU: Strata заранее ставит слой в очередь через Metal shared event, в PyTorch MPS такого управления нет. Разрыв сжали ранним commit после блоков на MPS (+10%), Metal-ядрами для Gated DeltaNet и hyper-connections, весами в формате Strata GGUF и чтением «угаданного» эксперта, пока SSD простаивает. vllm-metal на 32 ГБ ту же модель не поднимает: n-gram-таблица остаётся в памяти, хотя эксперты уже стримятся. PR в Transformers, пакет moe-expert-streaming и шейдеры автор описывает как собранные с ИИ; своё , выбор гипотез, профили и отсев лишнего. Metal-ядра вынесены на Hub отдельно. Источник: 180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformers .