Перейти к содержимому
Экосистема AI Vibe

Новости

HOPE: обрезают экспертов MoE парами — память меньше, агентный кодинг держится

Редакция 9 ноября 2026 г.

Схема обрезки экспертов в MoE-слое: матрица попарных связей и выбор подмножества для удаления без разрыва кооперативных групп.

В MoE на инференсе в памяти сидят все эксперты, хотя на токен реально включаются лишь несколько: у Qwen3.5-122B в каждом из 48 слоёв по 256 MLP, на токен активны 8, и около 95% от ~250 ГБ веса — сами экспертные блоки. Amazon описала HOPE — обрезку второго порядка: при выборе, кого удалить, учитывают не только «рейтинг» каждого эксперта, но и то, как пары стабильно срабатывают вместе.

Старые схемы — REAP, MAN, EAN, Frequency — режут по слоям независимо. На калибровочных данных видны устойчивые группы со-активации: убрать одного «слабого» можно так, что рядом ломается важная связка. HOPE на том же прогоне строит матрицу взаимодействий F и сводит выбор набора на удаление к квадратичной задаче; на диагонали — важность эксперта, вне диагонали — вклад пар. Диагональ почти воспроизводит REAP (Spearman ρ = 0,988), выигрыш дают попарные члены.

Цифры на бенчмарках

Гоняли Qwen3.5-122B, Qwen3.5-35B и GLM-4.5-Air: калибровка на Evol-CodeAlpaca и траекториях SWE-Bench Verified, сравнение с четырьмя first-order базовыми методами при обрезке 10–50%. В среднем у HOPE лучший ранг 2,07 из пяти; на 50% обрезки — 1,58 против 2,42 у REAP. На агентном кодинге заявляют до +6,1% к следующему по силе методу.

На SWE-Bench Pro картина ярче: Qwen3.5-35B-A3B при 50% обрезки — 42,3 у HOPE, 41,8 у полной модели и 36,2 у REAP. После калибровки решение QP на слой занимает порядка 1–2 секунд; основное время — forward pass по промптам.

Три шага в пакете

  • hope calibrate — один проход по промптам, выход в observations.h5
  • solve — квадратичная программа по матрице F на слой
  • prune — применение выбранного набора экспертов

Авторы проверяли Qwen3, Qwen3-Next, Qwen3.5 и GLM-4.5; в примере из блога указан --model-path Qwen/Qwen3.5-35B-A3B. Обрезка без дообучения, совместима с квантизацией — если тащите большую MoE под агентов с длинным контекстом и вызовами инструментов, смысл в срезать гигабайты, не ломая связки слепым рейтингом.

Источник: Your Experts Have Partners. There's HOPE for Keeping Them Together.