Перейти к содержимому
Экосистема AI Vibe

Новости

Сначала префикс, потом PDF: Bedrock-кэш против роста счёта за инференс

Редакция 17 ноября 2026 г.

Длинный общий системный промпт кэшируется в начале запроса к Bedrock, а меняющийся PDF обрабатывается после checkpoint.

На Amazon Bedrock в кэш попадает только непрерывный префикс с начала запроса — от него зависит, платите ли вы заново за одни и те же инструкции на каждом шаге агента. ArisGlobal для NavaX переставили порядок: стабильные правила, схема извлечения и few-shot идут до checkpoint, меняющийся adverse-event PDF — после.

Движок на Bedrock с Claude вытаскивает из отчёта около 130 полей через агент Dynamic Data Extraction — несколько последовательных вызовов модели на один кейс. Общий префикс повторяется между запросами, кейсами и тенантами; документ на 10–200 страниц — только в рамках одного кейса. С Guardrails в проде маскируют чувствительные данные в том же пайплайне.

Почему счёт убегал вперёд трафика

Первый вариант клал PDF в начало user-сообщения и ставил cachePoint сразу за документом. Повторные запросы внутри кейса читали PDF из кэша, но следующий кейс приносил новый файл, а общий промпт за checkpoint каждый раз считался по полной цене ввода. Пока подключали фарм-клиентов с EU ICSR, FDA MedWatch и своими маппингами полей, префикс за полгода вырос примерно с 72 000 до 180 000 токенов — плюс 150% — и при нескольких запросах на кейс стоимость инференса на кейс подскочила больше чем на 200%.

Префикс первым в проде

В рабочей схеме общий блок ушёл в system, checkpoint — сразу после него, PDF и вопрос по секции формы — в конце. Кэш префиксный: секции идут tools → system → messages, правка раннего блока сбрасывает совпадения дальше. Для Claude Sonnet 4.5 минимум под кэш — 1024 токена; до четырёх checkpoint на запрос; TTL по умолчанию 5 минут, у части моделей — час через параметр ttl.

ArisGlobal вывели NavaX на Bedrock в марте 2025 года. По их телеметрии — свыше 1 млн транзакций в регулируемых средах и порядка 19 млрд токенов в месяц. После перестановки 65% входных токенов типичного запроса идут из кэша по сниженной ставке, задержка на таких вызовах — до 25% ниже, эффективная стоимость ввода — примерно на 50% меньше; месячные расходы на инференс — около 40% ниже при том же EU cross-Region inference. Кейсы у активных арендаторов приходят примерно раз в 5 минут — этого хватает, чтобы держать общий префикс «тёплым» в рабочие часы.

Источник: How ArisGlobal scaled generative AI inference on Amazon Bedrock.