Vercel AI Gateway: регион инференса одним полем inferenceRegion

В AI Gateway Vercel добавили региональный инференс: поле inferenceRegion закрепляет запрос в US или EU, и все провайдеры, которые поддерживают выбранный регион, работают по одним правилам. Инференс идёт в выбранном дата-центре — данные, которые провайдер сохраняет, остаются там же.

Раньше при требованиях к резидентности настраивали роутинг отдельно у каждого вендора и не всегда могли проверить, где запрос реально выполнился. Теперь регион обработки приходит в каждом ответе. Если ни один провайдер не может обслужить выбранный регион, запрос завершается ошибкой — в другую юрисдикцию он не перенаправляется.

Режимы региона

• us — дата-центр в США
• eu — дата-центр в ЕС
• global — любой регион, без гарантии резидентности

Какие модели доступны в US или EU можно отфильтровать в списке, либо посмотреть массив regions в /v1/models. Без inferenceRegion трафик идёт глобально — резидентность включается явно.

Закрепление региона иногда дороже: провайдер выставляет региональную ставку, часто около 10% над стандартным тарифом; AI Gateway передаёт её без своей надбавки.

Источник: Regional inference now available on AI Gateway.