LangSmith LLM Gateway: лимиты расхода и фолбэки для продовых агентов

LangSmith LLM Gateway открылся в публичной бете для планов Plus и Enterprise — один слой между агентами и вызовами к OpenAI, Anthropic, Fireworks или своему совместимому endpoint. Потолки расхода, rate limits, фолбэки и вырезание PII и секретов настраиваются в одном месте, а не в коде каждого агента.

В примере LangChain coding-агент ночью уходит в цикл ретраев: к утру 10 000 вызовов к модели и счёт на четыре цифры. Шлюз блокирует такие сценарии политиками до вызова, а срабатывания лимитов ещё и видны в метаданных трейсов LangSmith.

Контроли на runtime

• Лимиты расхода — организация, workspace, API-ключ и пользователь; при превышении агент получает 402 с понятной ошибкой.
• Rate limits — те же четыре уровня, чтобы пики не съедали квоты провайдера и не мешали соседним командам.
• Политики на клиента — в мультитенанте заказчика помечают кастомным заголовком, лимиты считаются отдельно при одном API-ключе.
• Фолбэки моделей — переключение на другую модель или хост, если провайдер недоступен или упёрся в rate limit.
• Редакция чувствительных данных — до провайдера; на Enterprise то же в трейсах LangSmith.

Подключение

BYOK-first: ключи провайдеров в secrets workspace, Gateway маршрутизирует без отдельной инструментации на каждый вызов. Для open-моделей — hosted inference через Fireworks и Gateway Credits.

Для Claude Code, Codex и Deep Agents Code (dcode) достаточно сменить base_url на endpoint LangSmith Gateway, авторизоваться ключом LangSmith API и задать лимиты с фолбэками — остальной код не переписывают.

Источник: LangSmith LLM Gateway: Runtime Controls for Agents.