ElevenLabs в AI Gateway: 14 моделей, скидка 50% до 9 ноября

В AI Gateway Vercel появились четырнадцать моделей ElevenLabs: до 9 ноября на inference через шлюз действует скидка 50% в первые 14 дней после запуска. Один ключ закрывает распознавание речи, потоковую озвучку, живой голосовой диалог, музыку и звуковые эффекты — расходы и трейсы лежат в той же панели, что и вызовы сотен LLM.

Шлюз отражает тарифы провайдера без наценки и не берёт плату за платформу на inference, в том числе при Bring Your Own Key. Отдельный биллинг и отдельный мониторинг под аудио не нужны.

Шесть сценариев в одном API

• Речь в текст — транскрипция записей и субтитры, пока человек говорит.
• Потоковая озвучка — аудио стартует, пока модель ещё дописывает ответ.
• Живые голосовые агенты — пользователь говорит и слышит ответ в одной сессии.
• Музыка — трек по жанру, настроению и длине из текстового описания.
• Звуковые эффекты — короткие звуки и зацикленный эмбиент для игр и интерфейса.
• Диалог нескольких голосов — разные спикеры в одном запросе, без склейки клипов.

Цепочка или один разговор

Классический пайплайн: Scribe v2 Realtime переводит речь в текст на лету, ответ пишет любая LLM из каталога Gateway, Eleven Flash v2.5 озвучивает потоком — пользователь слышит начало реплики до конца генерации текста. Транскрипцию, язык или голос можно менять по отдельности.

Eleven Realtime v1 Max и Mini ведут весь разговор в одной модели через WebSocket — без отдельных шагов STT и TTS; в браузере это подключают хуком useRealtime из @ai-sdk/react, для этих моделей нужен turnDetection с semantic voice activity detection, server-vad не поддерживается. Music v2.5, Music v2 и Sound Effects v2 вызывают через generateSpeech, но в промпт кладут описание звука, не текст для чтения — например, трек на 30 секунд. Eleven v4, v4 Turbo и v3 озвучивают сцену с несколькими спикерами одной непрерывной записью.

Источник: ElevenLabs on AI Gateway.