Почему дорогая модель дешевле: задача агента, а не токен

На Amazon Bedrock прайс за токен почти не предсказывает счёт за агентный сценарий: AWS переводит метрику на цену одной законченной задачи — письма в саппорт, разбора инвойса или ответа пользователю, со всеми ходами модели и вызовами инструментов внутри. Первая часть серии уже закрывала attribution через IAM principal tags и Cost and Usage Report 2.0; здесь другой вопрос — был ли расход оправдан и дешевле ли агент людей.

В учебном сценарии агент читает письмо на 750 слов, проверяет статус аккаунта через API и отдаёт строгий JSON. Model A при $0.50 и $1.50 за 1M токенов на input и output набирает 3 хода и 6 150 входных токенов — задача стоит $0.0042. Model B дороже в листинге ($1.00 / $3.00), но укладывается в один проход: 1 000 входных и 150 выходных — $0.00145, на 65% меньше. Разрыв связывают с токенизатором, болтовнёй в ответе и повторной отправкой всей истории на каждом ходе с tool use.

Четыре скрытых множителя

• Токенизатор — тот же JSON или кириллица режется на разное число токенов; −15% в прайсе не спасает, если input на 40% больше.
• Длина ответа — output на Bedrock часто в 3–5 раз дороже input; «только JSON» экономит именно этот слой.
• Циклы с инструментами — каждый turn снова платит за весь контекст и результаты tools.
• Скрытое рассуждение — reasoning-токены биллятся как output; в production его включают, если бенчмарк оправдывает цену.

В проде считают cost per successful task: стоимость попытки делят на success rate или добавляют эскалацию при провале. Токенизаторы сравнивают через CountTokens без генерации; в ответе invocation — usage с inputTokens, outputTokens и полями кэша, логи в S3 или CloudWatch — число ходов по реальному трафику (в Cost Explorer это не chargeback-теги).

Рычаги и baseline человека

Prompt caching режет повторный контекст на agentic-путях, intelligent routing отдаёт простые запросы дешёвой модели, жёсткая tool schema плюс maxTokens держит verbosity, batch inference — для одноходовой массовой работы без tools. Эффективность ≠ ценность: baseline людей снимают до запуска агента, иначе ретроспектива систематически льстит агенту.

В примере workflow-run record поле humanMinutes фиксирует 35 минут ревью — без него отчёт «агент сделал всё сам» занижает реальную цену. Блок experiment с variant и promptVersion стыкует трейс workflow с метаданными запроса в Bedrock.

Источник: Optimizing cost per task and proving agent ROI on Amazon Bedrock.