Airbnb: стоимость за задачу вместо прайса за миллион токенов

Тысячи инженеров Airbnb каждую неделю гоняют кодинг-агентов во внутреннем AirChat: запросы идут через LLM gateway на Amazon Bedrock. За примерно пять недель вышло восемь новых моделей, и к середине октября на них ушло около двух третей трафика агентов — чарты к релизу не показывают, как модель тянет ваш код. Команда AWS разобрала, как Airbnb считает cost per task и связывает eval до выката с мониторингом в проде.
Cost per task — листовая цена всех токенов, которые агент тратит, пока не закроет одну инженерную задачу. Один таск — много запросов, контекст перечитывается снова, поэтому сравнивать «средний запрос» бессмысленно. Перед выкатом гоняют eval на фиксированных наборах: score и cost per task для каждой модели и уровня reasoning effort; после выката смотрят, совпало ли с продом.
Eval до выката модели
AirChat крутится на облачных AirDev-машинах, удалённые задачи забирает AirChat Remote — оба пути через тот же gateway. Шлюз пишет модель, клиент, команду, пользователя и счётчики токенов; в агрегате это планирование ёмкости и денег.
- семь наборов задач, сотни прогонов в песочницах; в день релиза новой модели стартует eval-кампания, первые оценки — за часы;
- на одной модели переход с low на high effort дал +0,8 к score при cost per task в 2,5 раза выше — так задают default и потолок effort на шлюзе;
- задачи собирают из реальных PR и ревью; оценщик с весами по восьми измерениям, потолок score, если агент постоянно «спасается» ревьюером;
- формат каталогов задач и job config совместим с Harbor — open-source прогон eval в песочнице.
Что смотреть после выката
Диагностика в основном из пространства имён AWS/Bedrock в CloudWatch: задержки, throttling и стоимость по четырём видам токенов — uncached input, cache read, cache write и output, у каждого свой тариф. Скорость генерации OTPS в метриках нет: её считают как OutputTokenCount / (InvocationLatency − TimeToFirstToken) × 1000.
В одном инциденте latency выросла на 40 %, а time to first token и OTPS не изменились — в system prompt попросили развёрнутые ответы, output на запрос +50 %. Смену промпта команда помечает на дашборде как отдельный deploy, наравне с апгрейдом модели.
Модель A в прогоне набрала больше чем на три балла выше прежнего лидера на тех же coding-тасках при почти той же cost per task, тот же grader — её выкатили с потолком effort на high. Еженедельно кладут runtime-метрики рядом с логами gateway и сверяют cost per request и среднее число запросов на пользователя с ожиданием из eval.
Источник: How Airbnb uses cost per task to operate coding agents on Amazon Bedrock.