Перейти к содержимому
Экосистема AI Vibe

Новости

Четыре рычага в запросе Bedrock: счёт растёт даже после правки промптов

Редакция 13 ноября 2026 г.

Разработчик сверяет метаданные ответа Bedrock с графиком токенов и строкой счёта за инференс.

Счёт в Amazon Bedrock крутится не только от промпта: в метаданных ответа отдельно идут input и output tokens, cache read/write и reasoning tokens, а в теле запроса есть поля, которые двигают тариф без смены модели. AWS разобрала четыре таких рычага и советует менять их по одному, сверяя usage, CloudWatch и биллинг.

Для агента с тулами стабильный префикс — system, определения инструментов, справка — имеет смысл держать в начале, динамику после. Поменяли system или tool definition — чекпоинты кэша сбрасываются, префикс пишется заново.

Кэш промпта и TTL

Явный кэш в Converse API задаётся через cachePoint с ttl вроде 1h; у Anthropic то же значение уходит в cache_control. У Claude Sonnet 5 и Opus 5 на Bedrock запись на 5 минут стоит в 1,25 раза дороже input, на час — в 2 раза, чтение из кэша — в 0,1 раза.

  • Пятиминутный TTL окупается при первом повторе внутри окна; если пауза больше пяти минут — каждый раз новая запись по повышенному тарифу.
  • Часовой кэш выгоднее со второго вызова в час при редких, но стабильных префиксах; чтобы обойти отсутствие кэша, нужно минимум три обращения в час.
  • Два изменения — system и tool — на Sonnet 5 с часовым чекпоинтом дали ноль cache reads и новую запись.
  • В мультиарендности к префиксу добавляют SHA-256 арендатора, чтобы записи не перемешивались в одном аккаунте.

Тариф Flex для фона

Фоновые джобы — eval, ночные саммари, бэкфиллы — можно отправлять с serviceTier типа flex, если модель это поддерживает. В тесте Nova 2 Lite в us-west-2 Flex стоил половину Standard; 400 чередующихся запросов подтвердили tier в метаданных и в счёте.

  • Flex есть у Nova 2 Lite и OpenAI gpt-oss-120b; у Claude Sonnet 5 и Opus 5 запрос падает с ValidationException.
  • Имеет смысл поймать ошибку неподдерживаемого tier и откатиться на default, не ретрая все ValidationException подряд.
  • Интерактивные цепочки агента оставляют на default; для Flex задают свой дедлайн.

Уровень adaptive thinking

Reasoning tokens считаются как output. У Sonnet 5 и Opus 5 adaptive thinking по умолчанию на high, даже если поле thinking не передано; effort задают в output_config, не внутри thinking.

  • На tool-calling агенте (три задачи, по 8 прогонов на уровень) все 24/24 прогона на low..max были верными, но медиана output tokens выросла с 936 на low до 2521 на high (+169%).
  • На сэмпле code generation разница low и high (676 против 743 токенов) уложилась в шум, программы проходили на всех уровнях.
  • Понижать effort — на рутине с измеримым pass rate; high оставляют, где качество это оправдывает.

Лимит maxTokens

maxTokens в inferenceConfig ограничивает и текст ответа, и thinking. Bedrock резервирует input плюс maxTokens при старте, поэтому завышенный потолок бьёт по параллелизму. На Sonnet 5 обычные ответы упирались в 103 токена; забор 155 на многословном промпте спас 1893 output token против потолка 2048 — оба ответа обрезались по max_tokens.

  • Для прода смотрят P95/P99 по типу задачи и добавляют запас; с включённым thinking калибруют потолок уже с reasoning.
  • Жёсткий лимит не заменяет Guardrails; в многоходовом агенте обрезанный ход может сломать следующие шаги — смотрят stopReason.

Перед раскаткой удобно свести в таблицу поддержку TTL кэша, tier, уровней effort и потолка вывода по версии модели, региону и API — и сверять каждый запрос с resolved tier и cache counters в ответе.

Источник: Four Amazon Bedrock inference choices that affect cost.