Vercel AI Gateway: запасная модель, если ответ не проходит порог уверенности

В AI Gateway Vercel появилась эскалация по уверенности: если ответ основной модели на decision-запрос не дотягивает до заданного порога, тот же запрос уходит на запасную модель в цепочке. Это слой поверх обычного fallback по списку моделей , те по-прежнему ловят явные сбои, пока вы не добавите отдельное условие. Условия можно склеить: эскалация может зависеть от нескольких сигналов сразу. Для вопросов Choice и Score срабатывает порог уверенности; для Boolean , диапазон вероятности, не тот же порог. Если в условии не указать поле question, проверка идёт по всем вопросам подходящего типа: например, confidenceBelow: 0.6 отправит на запасную модель любой Choice или Score с уверенностью ниже 0.6. Где включить Достаточно одного conditional-объекта в providerOptions.gateway.models . Без него запросы ведут себя как раньше. Фича в beta , поля условий описаны в документации по decision fallbacks. Сработавшая эскалация запускает второй decision, в счёт попадают оба этапа. Если в пайплайне или агенте таких вопросов много, порог имеет смысл калибровать, а не ставить 0.6 «на всякий случай» на каждый Score. Источник: AI Gateway adds confidence-based decision fallbacks .