Трейсы вместо ручной правки: как AgentCore переписывает system prompt

Оптимизатор system prompt в Amazon Bedrock AgentCore берёт трейсы из AgentCore Observability и сигнал reward — и отдаёт переработанный промпт с пояснением, какие паттерны в логах к этому привели. Раньше цикл был ручным: листать длинные прогоны, крутить промпт и описания тулов, снова гонять eval. Теперь AWS строит цикл вокруг прод-трейсов, offline batch evaluation и A/B на живом трафике.

Десятки трейсов быстро не влезают в контекст модели. Рефлектор получает shell-доступ к каталогу с логами и сам решает, что читать — grep, cat, diff между удачными и провальными прогонами. Фиксированного пайплайна суммаризации нет: агент ищет паттерны сам.

Два рефлектора

• Single Agent Reflector — один проход по всему корпусу: смотрит распределение score, сопоставляет успехи с провалами, возвращает один набор правок. Сейчас основной режим в AgentCore optimization.
• Sub-Agent Reflector — рой субагентов: каждый разбирает один трейс на трёх уровнях (исход и reward, точка расхождения с оптимальным путём, почему агент ошибся). Оркестратор собирает правила в одну конфигурацию. Эксперимент в open source репозитории Strands.

Ограничения перед выкатом

• Рост конфигурации больше чем на 20% — отклонение, оптимизатор просят ужать текст.
• Проверка безопасности до promotion.
• Запрет дословных фраз из трейсов — защита от переобучения на поверхностные паттерны логов.

На AppWorld при baseline 72,62% Single Agent Reflector выходит на 81,55% за 6 минут и 20 turns — в 18 раз быстрее GEPA. Sub-Agent Reflector там же даёт 95,83%, прирост на 23 пункта к baseline.

На WebShop (baseline 75,03%) single-вариант даёт 78,31% за минуту и 5 turns, sub-agent — 79,15%. Рефлектор крутился на Opus 4.6, задачную модель — на Sonnet 4.5.

AWS советует начинать с 10–50 разнообразных трейсов и не ограничиваться одной цифрой reward: в файл можно положить текстовый feedback, аннотацию или жалобу пользователя. Перед продом — объяснение рекомендации, offline eval и контролируемый A/B.

Источник: Optimizing agent system prompts with Amazon Bedrock AgentCore.