Правила маршрутизации в Vercel AI Gateway — смена модели без деплоя

Когда модель падает или её снимают с линии, обычно нужен релиз с правкой в коде. В Vercel AI Gateway появились правила маршрутизации — в стиле файрвола, на уровне шлюза, а не приложения: одно правило, и весь трафик перенаправляется сразу, пока код продолжает звать прежнее имя модели.

Два типа правил

• Rewrite — запрос к одной модели обслуживает другая. Шлюз подставляет destination прозрачно, приложение не меняется. Для аварийного переключения, миграции с устаревшей модели, унификации на одну модель или замены дорогой на более дешёвую.
• Deny — блокирует запросы к модели, ответ 403. Чтобы команда не ходила в модели, которые вы не одобрили.

Правила действуют на каждый запрос с учётными данными AI Gateway команды. Управление — через Vercel CLI: для rewrite задаёте source и destination, для deny — модель, которую режете.

Что остаётся как было

Меняется только та модель, которая реально отвечает. На destination по-прежнему действуют настройки уровня запроса — BYOK, model fallbacks, sorting, provider options — и командные: Zero Data Retention и provider allowlist. Фича пока в beta.

Источник: Routing rules now available on AI Gateway.