Перейти к содержимому
Экосистема AI Vibe

Новости

Private Inference в AI Gateway: одна обвязка для своих моделей и агентов

Редакция 17 ноября 2026 г.

Разработчик переключает агента с каталоговой LLM на приватную модель через единый шлюз Vercel AI Gateway с общими логами и метриками.

Если у вас своя донастроенная, self-hosted или пререлизная модель, раньше приходилось держать отдельные ключи, клиент и логи. Vercel добавил в AI Gateway Private Inference — приватный endpoint и модели из каталога проходят через ту же аутентификацию, те же SDK и API и одну наблюдаемость; для переключения достаточно сменить идентификатор модели.

Запросы идут через Chat Completions, Responses или Messages: шлюз сам приводит их к формату вашего провайдера. Приватные модели видит и вызывает только ваша команда Vercel, в публичный каталог они не попадают. Учётные данные хранятся в зашифрованном виде, для провайдера можно включить Zero Data Retention.

Что даёт в работе

  • Один клиент на два типа моделей — тот же вызов, другой model ID, без новой обвязки.
  • Агенты в редакторе — в анонсе названы Claude Code, Codex и Cursor как клиенты к шлюзу.
  • Логи в одном месте — приватный трафик рядом с каталогом: запросы, токены, время до первого токена по каждой модели.
  • Откат на каталог — если свой endpoint падает, можно переключить fallback на каталоговую модель.

Старт — страница Private Inference: base URL, формат API, credentials и список моделей. То же можно сделать через Vercel CLI версии 65.16.0 и новее; вызов по идентификатору private/<slug>, записи появляются в логах AI Gateway наравне с каталогом. Поддерживаемые типы моделей, требования и биллинг — в документации Private Inference.

Источник: AI Gateway now supports Private Inference.