Muse Spark Open: открытая модель Meta под агентный кодинг

15 октября 2026 года Meta выложила на Hugging Face открытые веса Muse Spark Open — мультимодальную MoE-модель с контекстом до 1 048 576 токенов. Её учили под агентный кодинг: читать кодовую базу, писать и отлаживать код, вызывать инструменты, планировать и самокорректироваться на длинных задачах, в том числе при обходе веба с картинками.

После компактного Muse Glimmer (август) это полноразмерный чекпоинт той же серии Muse; Meta называет его сильнейшей на сегодня open-weight моделью из США в линейке. Текст, изображения, аудио и видео идут на вход, ответ — текст; общий токенизатор и словарь с Glimmer, chat template тот же с дополнениями под новые модальности.

Масштаб и железо

Около 816 млрд параметров всего, около 42 млрд считаются на каждый токен: в MoE-слое 256 экспертов, роутер включает 8, при этом все эксперты остаются в памяти. Чекпоинты Muse-Spark-Open-816B-A42B (BF16) и Muse-Spark-Open-816B-A42B-NVFP4 (4-бит под NVIDIA Blackwell); BF16 в safetensors — примерно 1,5 ТБ. В Transformers BF16 тянется на 4 нодах по 8 H200 с TP=32, NVFP4 — на одной ноде B200. Рецепты также для llama.cpp, vLLM и SGLang.

Инференс из Python

В Transformers есть MuseSparkForConditionalGeneration и MuseSparkProcessor; параллелизм задаётся через DistributedConfig (tp_size для плотных слоёв, ep_size для экспертов). В apply_chat_template параметр reasoning_effort (low/medium/high/xhigh) управляет глубиной рассуждений — отключить полностью нельзя, для простых задач авторы советуют low, чтобы не тратить лишние токены.

Медиа в одном окне

• Картинки и видео — perception encoder на 1,8 млрд параметров, патчи 14×14 (как у Muse Glimmer).
• Аудио — один токен каждые 80 мс (12,5 в секунду), позиция в чате помечается <|audio|>.
• Видео — по умолчанию 2 FPS, до 96 кадров; звук из ролика — load_audio_from_video=True в apply_chat_template.

Миллион токенов включает медиа и текст; grouped-query attention сдерживает KV-cache — в BF16 это около 250 КБ на токен и примерно 266 ГБ на полный контекст.

Источник: Welcome Muse Spark Open: open-weight frontier multimodal mixture-of-experts model from Meta.