В логах AI Gateway появились сессии с привязкой к провайдеру

В логах Vercel AI Gateway появился экран Sessions: запросы одного диалога собраны в одну строку, и видно, как привязка к провайдеру разводила ходы и какая часть входа на всех репликах читалась из кэша.

Что в списке

Строка — это сессия агента или приложения: в changelog называют Claude Code, Codex и Cursor. Рядом стоимость, модели, провайдеры и суммарная доля закэшированного входа по каждому ходу.

Внутри сессии

Детальный вид даёт долю попаданий в кэш, длительность и путь диалога — каждый ход с моделью и таймингом, плюс кто обслуживает сессию сейчас и кто был раньше. Следующий ход уходит к тому же провайдеру, что отдал предыдущий: у него уже лежит большая часть промпта, поэтому сессия без прыжков между бэкендами чаще тянет контекст из кэша.

Фильтры и своя группировка

• Сужение по числу ходов, клиенту, модели, провайдеру, аутентификации и стоимости.
• Одноходовые сессии скрыты, пока не сбросите фильтр minimum turns.
• Для text- и chat-запросов привязка к провайдеру включена по умолчанию.

Чтобы склеить диалог вручную, на каждый запрос шлите один и тот же sessionId в providerOptions.gateway или заголовок x-session-id. Без идентификатора Gateway группирует ходы по отпечатку начала разговора — такие сессии в списке помечены как fingerprinted.

Источник: AI Gateway logs now show session affinity.