Четыре рычага в запросе Bedrock: счёт растёт даже после правки промптов

Счёт в Amazon Bedrock крутится не только от промпта: в метаданных ответа отдельно идут input и output tokens, cache read/write и reasoning tokens, а в теле запроса есть поля, которые двигают тариф без смены модели. AWS разобрала четыре таких рычага и советует менять их по одному, сверяя usage, CloudWatch и биллинг.
Для агента с тулами стабильный префикс — system, определения инструментов, справка — имеет смысл держать в начале, динамику после. Поменяли system или tool definition — чекпоинты кэша сбрасываются, префикс пишется заново.
Кэш промпта и TTL
Явный кэш в Converse API задаётся через cachePoint с ttl вроде 1h; у Anthropic то же значение уходит в cache_control. У Claude Sonnet 5 и Opus 5 на Bedrock запись на 5 минут стоит в 1,25 раза дороже input, на час — в 2 раза, чтение из кэша — в 0,1 раза.
- Пятиминутный TTL окупается при первом повторе внутри окна; если пауза больше пяти минут — каждый раз новая запись по повышенному тарифу.
- Часовой кэш выгоднее со второго вызова в час при редких, но стабильных префиксах; чтобы обойти отсутствие кэша, нужно минимум три обращения в час.
- Два изменения — system и tool — на Sonnet 5 с часовым чекпоинтом дали ноль cache reads и новую запись.
- В мультиарендности к префиксу добавляют SHA-256 арендатора, чтобы записи не перемешивались в одном аккаунте.
Тариф Flex для фона
Фоновые джобы — eval, ночные саммари, бэкфиллы — можно отправлять с serviceTier типа flex, если модель это поддерживает. В тесте Nova 2 Lite в us-west-2 Flex стоил половину Standard; 400 чередующихся запросов подтвердили tier в метаданных и в счёте.
- Flex есть у Nova 2 Lite и OpenAI gpt-oss-120b; у Claude Sonnet 5 и Opus 5 запрос падает с ValidationException.
- Имеет смысл поймать ошибку неподдерживаемого tier и откатиться на
default, не ретрая все ValidationException подряд. - Интерактивные цепочки агента оставляют на default; для Flex задают свой дедлайн.
Уровень adaptive thinking
Reasoning tokens считаются как output. У Sonnet 5 и Opus 5 adaptive thinking по умолчанию на high, даже если поле thinking не передано; effort задают в output_config, не внутри thinking.
- На tool-calling агенте (три задачи, по 8 прогонов на уровень) все 24/24 прогона на low..max были верными, но медиана output tokens выросла с 936 на low до 2521 на high (+169%).
- На сэмпле code generation разница low и high (676 против 743 токенов) уложилась в шум, программы проходили на всех уровнях.
- Понижать effort — на рутине с измеримым pass rate; high оставляют, где качество это оправдывает.
Лимит maxTokens
maxTokens в inferenceConfig ограничивает и текст ответа, и thinking. Bedrock резервирует input плюс maxTokens при старте, поэтому завышенный потолок бьёт по параллелизму. На Sonnet 5 обычные ответы упирались в 103 токена; забор 155 на многословном промпте спас 1893 output token против потолка 2048 — оба ответа обрезались по max_tokens.
- Для прода смотрят P95/P99 по типу задачи и добавляют запас; с включённым thinking калибруют потолок уже с reasoning.
- Жёсткий лимит не заменяет Guardrails; в многоходовом агенте обрезанный ход может сломать следующие шаги — смотрят stopReason.
Перед раскаткой удобно свести в таблицу поддержку TTL кэша, tier, уровней effort и потолка вывода по версии модели, региону и API — и сверять каждый запрос с resolved tier и cache counters в ответе.
Источник: Four Amazon Bedrock inference choices that affect cost.