Прод-агенты без двух слоёв мониторинга слепы: кейс AWS с четырьмя агентами

Продовые мультиагенты сбоят так, что CloudWatch остаётся зелёным: супервизор с кривым промптом начинает маршрутизировать 20% запросов не тому агенту, а пустой ответ часто означает пропавшее IAM-разрешение — без единой ошибки 500. AWS связала два слоя наблюдаемости и разложила их на демо авиасистемы с четырьмя специалистами.

Качество ответов и здоровье инфраструктуры

Метрики CloudWatch отвечают на вопрос «отработало ли», но не на «помогло ли пользователю». Агент спокойно вызывает Bedrock, проходит все инструменты и всё равно не понимает задачу. В цепочке из нескольких агентов сбой на третьем звене часто не поднимает исключение — бронь просто перестаёт завершаться, а в логах по-прежнему «успех».

Amazon Bedrock AgentCore Evaluations закрывает первый разрыв: в рантайме AgentCore непрерывно оценивает живые сессии по методологии LLM-as-a-Judge — полезность, корректность, достижение цели. Система сэмплирует настраиваемый процент прод-запросов, ищет паттерны в низких оценках и предлагает конкретные правки: промпт, выбор инструмента, логику оркестрации.

AWS DevOps Agent берёт второй слой — расследование инфраструктуры. При инциденте сам тянет логи CloudWatch, строит топологию затронутых ресурсов, связывает IAM-политики, вызовы Bedrock и трейсы оркестрации. Пустой ответ агента он может привязать к отсутствующему IAM-разрешению, всплеск таймаутов — к троттлингу Bedrock в конкретном регионе.

Демо: бронирование и паттерн Swarm

Для сквозного примера AWS собрала систему авиабронирования на паттерне Swarm: супервизор — только вход, дальше специалисты передают работу друг другу без фиксированного графа. Запрос вроде «Сиэтл — Бостон 15 марта, потом Бостон — Майами 18-го, companion certificate на второй сегмент и политика компании» тянет параллельный поиск маршрутов, статус лояльности и последовательное бронирование — сертификат нельзя применить, пока не выбран тариф.

• Supervisor Agent — вход, планирование подзадач, маршрутизация
• Flight Agent — поиск маршрутов и стыковок
• User Agent — лояльность, сертификаты, профиль
• Reservation Agent — создание и изменение брони с валидацией

Трейсы из AgentCore идут через OpenTelemetry в CloudWatch; оценки качества ложатся туда же. Исходники демо — в открытом репозитории на базе шаблона FAST с CDK-инфраструктурой и дашбордом оценок.

Источник: Monitoring production agent lifecycle with AWS DevOps Agent and AgentCore Evaluations.