Перейти к содержимому
Экосистема AI Vibe

Разборы

LiteLLM в двух облаках: три режима доступа агента к моделям без ключей в коде

Редакция 16 ноября 2026 г.

LiteLLM в двух облаках: три режима доступа агента к моделям без ключей в коде

Шлюз моделей, идентичность workload и белый список моделей в одном контуре или отдельный API key и virtual key на каждую связку «агент × провайдер»: для соло- или малого стека с agentic-нагрузкой развилка упирается не в IDE, а в прод. В разборе Miguel Moreno (Google Developer Experts) показывает proof of concept: по одному LiteLLM на Cloud Run и Azure Container Apps, два AI-агента в Google Cloud Agent Runtime и Azure Microsoft Foundry вызывают Gemini и Azure OpenAI через один OpenAI-совместимый endpoint, без virtual keys и без пароля к базе в строке подключения.

Тот же класс задач, что и единая точка вызова инструментов у агента в редакторе: один контракт снаружи, политика внутри. Здесь политика строится на Entra, IAM и кастомной авторизации на gateway, а не на MCP-сервере на localhost.

Шлюз вместо SDK: политика, идентичность и allow-list

Три практические боли масштаба: много агентов и провайдеров, единая политика вызовов и учёт usage при двух облачных биллингах. При малом числе агентов прямой вызов модели остаётся допустимой альтернативой. В тексте нет сравнения с Kong или «сырыми» SDK по бенчмаркам, только выбор LiteLLM за OpenAI-совместимый API к Vertex и Azure OpenAI.

Для разработчика, который собирает агентов в Cursor или другом стеке, перенос в облако ломает привычку «вставил ключ в env». Gateway сдвигает секреты на workload identity и роли, агенту остаётся bearer-токен своей идентичности. Это ближе к тому, как skills и rules задают рамку, но не подменяют аутентификацию.

В демо у каждого агента своя идентичность в Microsoft Entra Agent ID; секреты у агента не хранятся. Вместо virtual key LiteLLM агент передаёт собственный Entra bearer token. Gateway ожидает audience a2a-llm-gateway и роль LLM.Invoke.

Проверка идёт через custom auth hook (custom_auth.user_api_key_auth): JWT по JWKS, контроль aud, iss, exp, роли LLM.Invoke, сопоставление azp с «team» в LiteLLM и allow-list моделей до вызова провайдера. Запрос вне списка отсекается на gateway, а не доезжает до Gemini или Azure OpenAI.

Для соло-разработчика, который планирует вынести агентов из песочницы в managed runtime, смена модели угрозы: не «утёк ключ из .env», а «токен агента не прошёл политику gateway».

Два облака, общая БД и failover без смены токена

Архитектура симметрична по облакам, но не дублирует stateless-хаос:

  • Один инстанс LiteLLM на GCP (Cloud Run) и один на Azure (Container Apps) с одинаковой конфигурацией.
  • У каждого gateway Redis sidecar в том же сервисе для краткоживущего состояния.
  • Общая Postgres на Cloud SQL: агенты, разрешённые модели, usage.
  • Каждый gateway подключён к обоим семействам моделей: azure-инстанс может звать Gemini, gcp-инстанс звонит в Azure OpenAI. Агент бьёт в gateway своего облака и видит тот же каталог моделей.

К базе оба ходят через Cloud SQL Auth Proxy sidecar с --auto-iam-authn; пользователь БД, service account, пароля в connection string нет. Redis локален per-cloud: счётчики rate limit между облаками не общие.

Список моделей, один файл на обе стороны (в примере фигурируют имена вроде gpt-4.1-mini через azure/… и gemini-3.1-flash-lite через vertex_ai/…). Инвентарь агентов в YAML задаёт поле models на агента; pipeline выдаёт роль Entra и создаёт team в LiteLLM.

При отключении gateway в одном облаке следующий запрос агента может обслужиться через gateway другого облака: тот же bearer работает на обоих благодаря общим audience, роли и общей БД.

Важная оговорка: коды 401, 403 и 429 означают отказ политики или лимитов, а не повод автоматически переключать облако. Иначе агентный цикл начнёт маскировать ошибки конфигурации «успешным» failover.

Количественных SLA (RTO/RPO) у автора не заданы, только качественное описание демо; latency и cold start Cloud Run / Container Apps при agentic burst не зафиксированы.

В model_list нет строк api_key. Исходящие вызовы gateway к провайдерам завязаны на identity:

Направление Механизм (по описанию автора)
GCP → Gemini Service account Cloud Run с ролью Vertex AI
GCP → Azure OpenAI OIDC от Google, federated credential в Entra; пример azure_ad_token: oidc/google/api://AzureADTokenExchange
Azure → Azure OpenAI Managed identity Container Apps
Azure → Gemini Обратная федерация через Google workload identity pool; sidecar обновляет Azure JWT в файле для external_account credential

Админ-ключ LiteLLM для администрирования остаётся в secret manager каждого облака; агенты его не видят, это не ключ в цепочке от агента к модели. «Нулевые ключи» в заголовке поста означают отказ от протаскивания api key агентом и от пароля БД в строке подключения, а не полное отсутствие секретов у платформы.

Уроки PoC перед продом и граница применимости

Автор помечает схему как proof of concept (в тексте формулировка «As of November 2026» для примеров идентификаторов). Из раздела про «learned the hard way» и эксплуатацию:

  1. Одна сторона владеет миграцией схемы Postgres; на второй DISABLE_SCHEMA_UPDATE=true, иначе гонка при старте двух LiteLLM.
  2. Ошибки custom auth приходят как 401 (в том числе когда логически это 403): смотреть message, а не только код.
  3. Образ gateway стоит pin-ить: hook завязан на внутренности LiteLLM.
  4. turn_off_message_logging: true: usage в БД без текста промптов.
  5. Rate limit: в примере 60 запросов в минуту на облако, счётчики в Redis каждого облака отдельно.
  6. Shared DB в одном облаке, первая точка внимания при выходе за демо.

Пост рассчитан примерно на шесть минут чтения; опубликован на Dev.to 15 ноября 2026 года с тегом ai. Сравнения с другими gateway-продуктами по производительности нет.

Если вы поднимаете несколько агентов в двух облаках и хотите один каталог моделей, единую политику и учёт без копирования ключей в код агента, схема задаёт рабочий ориентир: Entra Agent ID, custom auth, общая БД, симметричные gateway. Если агент один и провайдер один, overhead PoC может быть избыточен; границу проводит сам автор.

Следующий практический шаг для соло-разработчика не обязательно разворачивать оба облака сразу. Имеет смысл сверить, где у вашего агента сейчас лежат секреты (env, virtual keys, workload identity) и где отсекается allow-list, до того как тот же код уедет в Agent Runtime или Foundry.

Источники

  • Miguel Moreno, «One model gateway across clouds: LiteLLM on Cloud Run and Azure with zero API keys» — Dev.to (проверено редакцией: 2026-11-16, UTC).
  • Карточка Dev.to (API): публикация 2026-11-15T22:23:05Z; тег ai; ориентировочное время чтения 6 мин.