Три способа просчитаться с биллингом LLM: прайс-лист, замер за ход и баланс провайдера

Считать интерактивный продукт на моделях можно по трём линейкам: цены за токен в карточке API, доллары за один «ход» бота на реальной нагрузке и то, что спишется с кошелька провайдера. Для соло-разработчика с чатом, игрой или агентным циклом первая линейка почти всегда врёт. В замере по текстовой игре AI Werewolf Aliaksei Zelianouski (@hiper2d) за 53 дня залогировал порядка 51 000 API-вызовов и сравнил 27 frontier-моделей по фактической стоимости хода в своём рантайме, а не по прайс-листу.
Групповой чат, GM и роутеры вместо одного completion
Текстовая игра у Zelianouski устроена как длинный групповой чат: один человек и от 5 до 15 ботов, ролевая механика, сводки дня (compaction) и побочные задачи вроде портретов, озвучки и классификаторов. Единица нагрузки, bot turn: ответ в чат, голосование, ночное действие; каждый такой ход отдельный запрос к официальному LLM API с растущим контекстом.
Параллельно крутятся Game Master, роутер «кто говорит дальше», резервный роутер, экран модерации ввода и генерация истории новой партии. Для разработчика с vibe-подходом это ближе к мульти-агентной обвязке, чем к одиночному chat completion: много коротких циклов, structured output на голосованиях, периодические тяжёлые сводки.
Если вы прототипируете игру, бота или IDE-агента с несколькими ролями, разовая проверка одной модели в REPL не заменит учёт по типам ходов.
С середины сентября каждый AI-вызов пишется в таблицу статистики (токены in/out, кэш, стоимость, время). За первые 53 дня журнала набралось порядка 51 000 вызовов.
Средние расходы за этот период (USD из статистики игры):
| Категория | Всего ($) | В день ($) | Доля |
|---|---|---|---|
| Текст (боты, GM, история) | 212.30 | 4.01 | 63% |
| Изображения | 94.66 | 1.79 | 28% |
| Аудио | 28.29 | 0.53 | 8% |
| Классификаторы | 1.96 | 0.04 | 0.6% |
| Итого | 337.21 | 6.36 |
Типичный день укладывался чуть ниже $6; минимум меньше $0.30, пик около $16. За последние 30 дней среднее подросло до ~$7/день (больше игроков). Полноценная игра на 50+ ходов в среднем обошлась в ~$1.49 при ~165 AI-ходах (из них $1.03 текст, $0.32 картинки, $0.13 голос).
Для бесплатного тарифа игры действует лимит до $5 в сутки с кошелька разработчика на пользователя; на free-слое 651 зарегистрированный игрок при ~6 уникальных в день. Соло-мастеру полезно сверять с этим порядком величины собственные лимиты на песочнице.
Ход, кэш, reasoning и дорогие сводки
Zelianouski разложил bot turn по типам. Большинство ходов, дневное обсуждение (46% вызовов), но end-of-day summary всего 11% ходов и 21% расходов на ботов: крупный input/output и слабый кэш.
| Тип хода | Доля ходов | Средний cost/turn |
|---|---|---|
| Day discussion | 46% | 0.41¢ |
| Vote | 19% | 0.60¢ |
| Night action | 10% | 0.65¢ |
| End-of-day summary | 11% | 1.00¢ |
Контекст растёт по дням игры: discussion с ~6 600 input tokens на первый день до ~11 400 на пятый; summary с ~12 100 до ~16 800. В output попадают и видимый текст, и reasoning-токены, которые сложно заложить по прайсу «8K in + 300 out».
На текстовых вызовах 73% счёта приходится на input, 27% на output; при этом лишь 29% input-токенов реально пришли с кэша, а не по «бумажным» скидкам 75–98%.
Медианная пауза между вызовами одного бота, 4 минуты; 42% разрывов длиннее 5 минут, 6% дольше получаса. Для coding-агентов с вызовом каждую секунду картина кэша другая: у DeepSeek cache hit остаётся высоким даже после часа простоя, у Gemini после пяти минут кэш «почти выключен».
Таблица «real cost vs expected» (ожидание: 8 000 input + 300 output без кэша по rate card) показывает разброс: Grok 4.7 даёт 2.7×, Mistral Medium 3.5 даёт 2.5×, Gemini 3.8 Flash даёт 1.3×; Qwen 3.8 Max укладывается в 0.6× за счёт сильного кэша (63% input).
У Grok 4.6/4.7 в среднем ~2 200 output tokens на turn, 94% из них reasoning; игрок видит порядка сотни токенов текста. Токенизатор тоже меняет картину: Claude Haiku 5.5 тянет ~13 473 input/turn против ~7 377 у GPT-6 Luna в том же типе игры.
Роутер «кто говорит» и content screen на Jev (typesafe.ai); с 8 октября fallback, GPT-6 Luna через OpenAI Decisions API при сбоях. Классификаторы дали 12 015 вызовов (24% всех) на $1.96 за 53 дня; медиана 0.014¢/call у Jev и 0.038¢/call у Luna backup, дешевле, чем тянуть ту же логику через тяжёлую chat-модель.
Полосы из 27 моделей и обнуление кэша на JSON
В игре одновременно доступны 27 LLM от OpenAI, Anthropic, DeepSeek, Google, Mistral, Qwen, GLM, Kimi, xAI и других лабораторий. Имена в UI игры внутренняя номенклатура разработчика; сравнение идёт по измеренному $/turn, а не по строке input/output в прайсе.
Для free-игры действуют четыре полосы по cost/turn:
| Cost/turn | Ботов в free-игре | Доля ходов | Доля spend ботов |
|---|---|---|---|
| до 0.3¢ | без лимита | 56% | 12% |
| до 1¢ | 3 | 21% | 25% |
| до 2¢ | 1 | 16% | 31% |
| > 2¢ | только paid | 7% | 33% |
20 сентября лимиты в free-слое переключили с ориентира на output price карточки на фактический cost/turn; средний turn cost на free за 30 дней после смены упал с 0.91¢ до 0.67¢, за последние 30 дней до 0.50¢ (часть эффекта от подключения дешёвых моделей).
В «unlimited»-полосе при достаточной выборке, например: условная GPT-6 Luna (OpenAI) 0.09¢/turn, DeepSeek V4.1 Flash 0.09¢, Claude Haiku 5.5 0.19¢, Gemini 3.5 Flash Lite 0.21¢. В paid-only Claude Fable 5.1 ~10.6¢/turn (порядка 128× дороже Luna в той же механике), Grok 4.7 4.89¢, Claude Sonnet 5.5 3.13¢ (955 вызовов в выборке замера).
Если вы подключаете агента в продукт, полосы прямая аналогия tier-лимитов по модели: дорогой «характер» можно оставить платным, а пул дешёвых моделей кормит основной трафик.
На vote и night action ответы идут в structured output (JSON). У OpenAI, Google, Mistral и Meta при голосовании в течение пяти минут после обсуждения cache hit на входе 0–3%; у Anthropic 25%; у DeepSeek, GLM, MiniMax, Qwen и Kimi 41–76%. Причина: схема JSON как отдельная настройка, которая у части провайдеров сбрасывает префикс.
Compaction-сводки дополнительно бьют по кэшу из‑за инжекта данных в промпт; в статистике это заметили как архитектурную ошибку учёта, а не как сюрприз от провайдера.
Кейс Anthropic 1-hour cache на Sonnet 5.5: cost/turn 2.94¢ без кэша против 3.13¢ с кэшем, из‑за двойной оплаты записи в кэш и инвалидации на JSON-ходах. Расхождение с балансом поймали, когда деньги на аккаунте уходили в ~1.5× быстрее, чем во внутреннем трекинге (ошибка: cache writes считались по заниженной ставке).
Для разработчика агентов с tool calling и JSON-ответами урок простой: тестируйте кэш на сценарии с паузами и схемой, а не на непрерывном стриме кода.
Пять практических выводов и границы бенчмарка
Zelianouski формулирует пять тезисов для тех, кто собирает LLM-продукт с множеством вызовов на сессию:
- Не выбирать модель по цене за токен: гонять реальную нагрузку и делить деньги на число вызовов.
- Не считать кэш данным из маркетинга; для игр с паузами и JSON нужна отдельная проверка.
- Большинству пользователей всё равно на модель, поэтому случайный выбор из дешёвого пула на старте сильно экономит.
- Классификаторы для игровой логики там, где уместно, дают прирост скорости и цены.
- Сверять собственный трекинг с балансом провайдера ежемесячно.
На сайте игры есть страница моделей с effective cost per turn по каждой модели; бенчмарк смещён use case AI Werewolf и багами учёта, цифры замера не переносятся на произвольный агентный стек без повторного прогона.
Карточка провайдера обещает прозрачность по input, cached и output. Живой рантайм с ботами, сводками, JSON-голосованиями и reasoning добавляет слой, который видно только после десятков тысяч вызовов. Для русскоязычного соло-разработчика без отдельного финансиста это аргумент начать считать $/turn и долю кэша раньше, чем масштабировать бесплатный tier.
Источники
- Aliaksei Zelianouski (@hiper2d), «How much does it cost to run a text game with LLMs» — Dev.to (доступ: 2026-11-09)