Перейти к содержимому
Экосистема AI Vibe

Новости

Мегабайтный JSON в каждом tool call: AWS срезала токены на 71%

Редакция 18 ноября 2026 г.

Агент отправляет крупный JSON в хранилище, а в диалог с моделью передаёт только ссылку и короткое резюме.

У продового агента с десятками инструментов каждый ход снова тащит в модель полный ответ тула — на JSON 20+ МБ это быстро съедает окно и раздувает счёт. Flightscape на Amazon Bedrock AgentCore собрала LangGraph-агента с 40+ тулами для расписания экипажей; без оптимизаций средний ответ стабильно уходил дольше 15 секунд. На тестовом payload около 23 МБ команда AWS показала снижение расхода токенов до 71% и средней задержки до 80%.

Сценарий — Training Schedule Optimization: в state лежат request, response и validation report по назначениям, иногда больше 20 МБ. Рассуждение идёт через модель Bedrock, история чата пишется в AgentCore Memory, но пока тяжёлые объекты жили рядом с сообщениями, контекст забивался раньше, чем агент успевал дойти до вывода.

Три приёма на одном ходе

  • Лёгкий state, тяжёлое в S3. В начале и конце хода hydrate_state и dehydrate_state поднимают сессию из памяти и сохраняют обратно только ссылки (request_ref, responses_ref, validation_report_ref и др.), а сами JSON кладут в S3 через S3ArtifactStore с детерминированным ключом по SHA-256 — повторно тот же payload не заливается.
  • Компактный ответ инструмента. Если тул возвращает огромный список или словарь, полный результат уходит в S3, а в диалог модели попадают короткое резюме и идентификатор для догрузки.
  • Постраничная выдача. Крупные массивы отдают порциями через get_result_page_tool, а не целиком в контекст после каждого вызова.

На GitHub лежит companion code под Python 3.12+, boto3 и langgraph — схема рассчитана на любой граф с tool-calling, не только на этот кейс авиакомпании.

Источник: Reducing token costs and latency in Amazon Bedrock AgentCore JSON workloads.