Private Inference в AI Gateway: одна обвязка для своих моделей и агентов

Если у вас своя донастроенная, self-hosted или пререлизная модель, раньше приходилось держать отдельные ключи, клиент и логи. Vercel добавил в AI Gateway Private Inference — приватный endpoint и модели из каталога проходят через ту же аутентификацию, те же SDK и API и одну наблюдаемость; для переключения достаточно сменить идентификатор модели.
Запросы идут через Chat Completions, Responses или Messages: шлюз сам приводит их к формату вашего провайдера. Приватные модели видит и вызывает только ваша команда Vercel, в публичный каталог они не попадают. Учётные данные хранятся в зашифрованном виде, для провайдера можно включить Zero Data Retention.
Что даёт в работе
- Один клиент на два типа моделей — тот же вызов, другой model ID, без новой обвязки.
- Агенты в редакторе — в анонсе названы Claude Code, Codex и Cursor как клиенты к шлюзу.
- Логи в одном месте — приватный трафик рядом с каталогом: запросы, токены, время до первого токена по каждой модели.
- Откат на каталог — если свой endpoint падает, можно переключить fallback на каталоговую модель.
Старт — страница Private Inference: base URL, формат API, credentials и список моделей. То же можно сделать через Vercel CLI версии 65.16.0 и новее; вызов по идентификатору private/<slug>, записи появляются в логах AI Gateway наравне с каталогом. Поддерживаемые типы моделей, требования и биллинг — в документации Private Inference.
Источник: AI Gateway now supports Private Inference.