Перейти к содержимому
Экосистема AI Vibe

Новости

Phonon: голос на устройстве без сети, открытые веса и интеграция в Transformers

Редакция 5 ноября 2026 г.

Схема локального синтеза речи: текст остаётся на устройстве, модель Phonon отдаёт голос без обращения к облаку.

Gradium открыли Phonon — синтез речи на устройстве без сервера и сети, текст остаётся локально. Hugging Face встроили модель в Transformers с версии 5.21: два чекпоинта около 65 и 75 МБ, пять языков и больше сотни встроенных голосов — озвучка идёт на телефоне, ноутбуке, одноплатнике или во вкладке браузера.

За первые две недели веса скачали более 200 000 раз. Английский gradium/phonon-31m-en под Apache 2.0, включая коммерческие продукты; мультиязычный Phonon 40m — лицензия CC BY-NC. Качество уместили в компактную модель за счёт flow matching из линейки Pocket TTS — не тот же стек, что у многих облачных синтезаторов.

Что в релизе

  • Английский, французский, немецкий, испанский и португальский; клонирование и дизайн голоса через Gradium Studio.
  • Нормальная озвучка телефонных номеров, дат и кодов — типичная боль других TTS.
  • Демо без сети: Apple Watch с пошаговым рецептом кофе, счёт повторений на iPhone, офлайн-игры и озвучка в браузере.
  • Экосистема: интеграция в Transformers с первого дня, конверсия ExecuTorch для GPU в браузере, Micdrop для Node.js.

Бенчмарки

На Open TTS Leaderboard Hugging Face среди тысяч моделей на Hub Phonon по разборчивости занимает первое место в немецком и испанском и входит в топ‑3 по каждому из пяти языков команды — рядом с моделями до ста раз крупнее. На CPU streaming лидирует время до первого звука: у английского Phonon 31m в таблице 28 ms, у 40m — 38 ms, у ближайших конкурентов — сотни миллисекунд.

Как подключить

Для локального прогона есть фреймворк ptts с более чем десятью бэкендами — CPU Intel и Arm, WebAssembly, CUDA, Vulkan, Metal, WebGPU, Core ML и Snapdragon NPU. В Transformers — класс GradiumPhononTTSForConditionalGeneration (~30,8 млн параметров) и чекпоинт gradium/phonon-31m-en: голос подгружается из gradium/phonon-voices как заранее посчитанные speaker latents, текст и слот под голос собирает шаблон диалога процессора. На GPU через Transformers удобнее гнать пакетную озвучку датасетов с torch.compile.

Источник: A Closer Look at Phonon TTS. Launching High-Quality On-Device Speech That Tops the Benchmarks..