Switchyard: дешёвая модель для агента, дорогая — когда надо

Кодинг-агент тратит деньги не на один ответ модели, а на весь цикл — чтение файлов, правки, прогоны тестов и повторы. NVIDIA NeMo Switchyard вместе с шлюзом LiteLLM на Amazon Bedrock маршрутизирует такие запросы между сильной и дешёвой моделью; в примере AWS это Claude Opus 5.5 и Nemotron 3 Super 120B. Имеет смысл смотреть не цену токена, а стоимость за решённую задачу: суммарный счёт за прогоны, делённый на те, где тесты прошли.
Демо ставит switchyard-server 0.3.0 и образ LiteLLM v1.102.0 на ECS Fargate за балансировщиком. Клиент шлёт OpenAI-совместимый запрос с "model": "switchyard"; в заголовке x-litellm-model-name видно, кто реально ответил, в теле остаётся switchyard. Вызовы идут через Bedrock Converse API и VPC endpoint, таймаут запроса — 600 секунд, как у балансировщика.
Стратегии маршрутизации
- Stage — ровно два кандидата: читает последнюю активность инструментов в истории и выбирает между мощной и экономной моделью; отдельной judge-модели нет.
- Random — взвешенный пул для A/B и сплита трафика.
В профиле Stage алгоритм picker = "efficient_first": при неясных сигналах остаётся дешёвая модель, на старте задачи без результатов тулов уходит Nemotron. Порог уверенности — 0.5, окно — три последних результата инструментов; агент должен пересылать полную историю диалога. Группы claude-opus-5-5 и nemotron-super-3-120b всегда бьют в одну модель — на них же считают pass rate и cost per solved task на бенчмарках образца.
Развёртывание — через AWS CDK из репозитория aws-samples/sample-route-coding-agent-requests-Amazon-Bedrock-nemo-switchyard; авторы помечают код как демо, не для продакшена. Стратегии с классификатором вроде Task и Composite здесь не работают — им нужны промежуточные вызовы модели, которых эта интеграция не делает.
Источник: Route coding agent requests to the right model on Amazon Bedrock with NVIDIA NeMo Switchyard.