Bedrock prompt caching: до 90% на повторном контексте в агентах

Маркер cachePoint в Converse API Amazon Bedrock ставится между неизменным контекстом и вопросом пользователя — документ, системные инструкции или схемы инструментов. Всё до отметки сервис кэширует между вызовами: на повторных запросах модель не пересчитывает статику, а подхватывает сохранённый снимок. Вход на таких cache hit может стоить до 90% дешевле, без урезания промпта.

Без кэша контракт на 10 000 токенов и 50 разных вопросов дают 500 000 входных токенов по полной цене — модель каждый раз видит один и тот же текст. Первый запрос с совпадающим префиксом — cache miss: Bedrock обрабатывает весь контент и пишет snapshot. Следующие с тем же префиксом — cache hit: генерация стартует быстрее, а вход дешевле.

Шесть паттернов из практики AWS

• Документ перед вопросом — RAG и ассистент с большой кодовой базой.
• Системный промпт — persona и инструкции, одинаковые между сессиями.
• Схемы инструментов — схемы инструментов в агентных workflow.
• Разный TTL — отдельное время жизни для разных слоёв контекста.
• Изоляция по тенантам — отдельный кэш в мультитенантных приложениях.
• LangChain — тот же приём через langchain-aws.

Пороги и цена

Кэш привязан к AWS-аккаунту и региону. Для Claude Sonnet 4.5 и 4.6 checkpoint должен набрать минимум 1 024 токена; для Opus — 4 096. TTL по умолчанию — 5 минут, у части моделей до 1 часа.

Запись в кэш (cacheWriteInputTokens) на 25% дороже обычного входа, чтение (cacheReadInputTokens) — на 90% дешевле. Запись с TTL 1 час — вдвое дороже стандартного входа. Документ на 10 000 токенов и 10 вопросов внутри TTL дают суммарную экономию около 75% на входных токенах. Для параметра ttl в cachePoint нужны Boto3 1.43.0 и Python 3.10+.

Источник: Optimizing cost and latency with Amazon Bedrock prompt caching.