LiteLLM в двух облаках: три режима доступа агента к моделям без ключей в коде

Шлюз моделей, идентичность workload и белый список моделей в одном контуре или отдельный API key и virtual key на каждую связку «агент × провайдер»: для соло- или малого стека с agentic-нагрузкой развилка упирается не в IDE, а в прод. В разборе Miguel Moreno (Google Developer Experts) показывает proof of concept: по одному LiteLLM на Cloud Run и Azure Container Apps, два AI-агента в Google Cloud Agent Runtime и Azure Microsoft Foundry вызывают Gemini и Azure OpenAI через один OpenAI-совместимый endpoint, без virtual keys и без пароля к базе в строке подключения.
Тот же класс задач, что и единая точка вызова инструментов у агента в редакторе: один контракт снаружи, политика внутри. Здесь политика строится на Entra, IAM и кастомной авторизации на gateway, а не на MCP-сервере на localhost.
Шлюз вместо SDK: политика, идентичность и allow-list
Три практические боли масштаба: много агентов и провайдеров, единая политика вызовов и учёт usage при двух облачных биллингах. При малом числе агентов прямой вызов модели остаётся допустимой альтернативой. В тексте нет сравнения с Kong или «сырыми» SDK по бенчмаркам, только выбор LiteLLM за OpenAI-совместимый API к Vertex и Azure OpenAI.
Для разработчика, который собирает агентов в Cursor или другом стеке, перенос в облако ломает привычку «вставил ключ в env». Gateway сдвигает секреты на workload identity и роли, агенту остаётся bearer-токен своей идентичности. Это ближе к тому, как skills и rules задают рамку, но не подменяют аутентификацию.
В демо у каждого агента своя идентичность в Microsoft Entra Agent ID; секреты у агента не хранятся. Вместо virtual key LiteLLM агент передаёт собственный Entra bearer token. Gateway ожидает audience a2a-llm-gateway и роль LLM.Invoke.
Проверка идёт через custom auth hook (custom_auth.user_api_key_auth): JWT по JWKS, контроль aud, iss, exp, роли LLM.Invoke, сопоставление azp с «team» в LiteLLM и allow-list моделей до вызова провайдера. Запрос вне списка отсекается на gateway, а не доезжает до Gemini или Azure OpenAI.
Для соло-разработчика, который планирует вынести агентов из песочницы в managed runtime, смена модели угрозы: не «утёк ключ из
.env», а «токен агента не прошёл политику gateway».
Два облака, общая БД и failover без смены токена
Архитектура симметрична по облакам, но не дублирует stateless-хаос:
- Один инстанс LiteLLM на GCP (Cloud Run) и один на Azure (Container Apps) с одинаковой конфигурацией.
- У каждого gateway Redis sidecar в том же сервисе для краткоживущего состояния.
- Общая Postgres на Cloud SQL: агенты, разрешённые модели, usage.
- Каждый gateway подключён к обоим семействам моделей: azure-инстанс может звать Gemini, gcp-инстанс звонит в Azure OpenAI. Агент бьёт в gateway своего облака и видит тот же каталог моделей.
К базе оба ходят через Cloud SQL Auth Proxy sidecar с --auto-iam-authn; пользователь БД, service account, пароля в connection string нет. Redis локален per-cloud: счётчики rate limit между облаками не общие.
Список моделей, один файл на обе стороны (в примере фигурируют имена вроде gpt-4.1-mini через azure/… и gemini-3.1-flash-lite через vertex_ai/…). Инвентарь агентов в YAML задаёт поле models на агента; pipeline выдаёт роль Entra и создаёт team в LiteLLM.
При отключении gateway в одном облаке следующий запрос агента может обслужиться через gateway другого облака: тот же bearer работает на обоих благодаря общим audience, роли и общей БД.
Важная оговорка: коды 401, 403 и 429 означают отказ политики или лимитов, а не повод автоматически переключать облако. Иначе агентный цикл начнёт маскировать ошибки конфигурации «успешным» failover.
Количественных SLA (RTO/RPO) у автора не заданы, только качественное описание демо; latency и cold start Cloud Run / Container Apps при agentic burst не зафиксированы.
В model_list нет строк api_key. Исходящие вызовы gateway к провайдерам завязаны на identity:
| Направление | Механизм (по описанию автора) |
|---|---|
| GCP → Gemini | Service account Cloud Run с ролью Vertex AI |
| GCP → Azure OpenAI | OIDC от Google, federated credential в Entra; пример azure_ad_token: oidc/google/api://AzureADTokenExchange |
| Azure → Azure OpenAI | Managed identity Container Apps |
| Azure → Gemini | Обратная федерация через Google workload identity pool; sidecar обновляет Azure JWT в файле для external_account credential |
Админ-ключ LiteLLM для администрирования остаётся в secret manager каждого облака; агенты его не видят, это не ключ в цепочке от агента к модели. «Нулевые ключи» в заголовке поста означают отказ от протаскивания api key агентом и от пароля БД в строке подключения, а не полное отсутствие секретов у платформы.
Уроки PoC перед продом и граница применимости
Автор помечает схему как proof of concept (в тексте формулировка «As of November 2026» для примеров идентификаторов). Из раздела про «learned the hard way» и эксплуатацию:
- Одна сторона владеет миграцией схемы Postgres; на второй
DISABLE_SCHEMA_UPDATE=true, иначе гонка при старте двух LiteLLM. - Ошибки custom auth приходят как 401 (в том числе когда логически это 403): смотреть message, а не только код.
- Образ gateway стоит pin-ить: hook завязан на внутренности LiteLLM.
turn_off_message_logging: true: usage в БД без текста промптов.- Rate limit: в примере 60 запросов в минуту на облако, счётчики в Redis каждого облака отдельно.
- Shared DB в одном облаке, первая точка внимания при выходе за демо.
Пост рассчитан примерно на шесть минут чтения; опубликован на Dev.to 15 ноября 2026 года с тегом ai. Сравнения с другими gateway-продуктами по производительности нет.
Если вы поднимаете несколько агентов в двух облаках и хотите один каталог моделей, единую политику и учёт без копирования ключей в код агента, схема задаёт рабочий ориентир: Entra Agent ID, custom auth, общая БД, симметричные gateway. Если агент один и провайдер один, overhead PoC может быть избыточен; границу проводит сам автор.
Следующий практический шаг для соло-разработчика не обязательно разворачивать оба облака сразу. Имеет смысл сверить, где у вашего агента сейчас лежат секреты (env, virtual keys, workload identity) и где отсекается allow-list, до того как тот же код уедет в Agent Runtime или Foundry.
Источники
- Miguel Moreno, «One model gateway across clouds: LiteLLM on Cloud Run and Azure with zero API keys» — Dev.to (проверено редакцией: 2026-11-16, UTC).
- Карточка Dev.to (API): публикация 2026-11-15T22:23:05Z; тег
ai; ориентировочное время чтения 6 мин.