Режим thinking в Gemini API: когда «думать дольше» не покупает точность

Три развилки при настройке режима рассуждений в Gemini API: счёт на сложной математике, множитель по деньгам и жёсткий потолок в долларах на серию запросов. Для соло-разработчика, который платит за каждый шаг агента output-токенами, свежий бенчмарк Google Developer Expert xbill на Dev.to показывает жёсткую картину: на трёх Gemini 4 старшая настройка thinking стоит в несколько раз дороже, а правильных ответов на тех же 15 задачах не прибавляет.
Семь моделей и два крайних режима рассуждений
Эксперимент прогнал семь моделей через Gemini API (OpenAI-совместимый endpoint) на 15 задачах AIME 2025 I. У каждой модели сравнивают минимально и максимально допустимую настройку thinking: у Gemma 4 26B/31B это minimal и high (free tier), у Gemini 3.5 Flash-Lite и 3.8 Flash от minimal или low до high, у Gemini 4 Hydrogen, Carbon и Argon от low до high или xhigh (у Hydrogen потолок xhigh; у Carbon и Argon вызов xhigh endpoint отклоняет).
Thinking здесь не декоративный флаг, а параметр API, который вместе с финальным ответом делит один лимит выходных токенов и тариф output. У 3.8 Flash и всех Gemini 4 полностью «выключить» reasoning нельзя: нижняя граница low. Отправка reasoning_effort: none endpoint принимает; автор ранее сводил это к эквиваленту low для четырёх моделей без режима minimal.
| Модель | Минимум thinking | Максимум thinking | Output, $ за 1M токенов |
|---|---|---|---|
| Gemma 4 31B, 26B | minimal |
high |
free tier |
| Gemini 3.5 Flash-Lite | minimal |
high |
$2.50 |
| Gemini 3.8 Flash | low |
high |
$3.75 |
| Gemini 4 Hydrogen | low |
xhigh |
$7.50 |
| Gemini 4 Carbon | low |
high |
$10.00 |
| Gemini 4 Argon | low |
high |
$10.00 |
Жёсткий бюджет: worst case до старта и фактический счёт
Под «hard budget» понимают потолок долларов, который скрипт budget_run.py не даёт превысить: перед каждым раундом учитываются уже потраченные средства и worst case следующего раунда (число задач × моделей × лимит 32 768 выходных токенов на запрос × тариф output).
В замере: --budget 20 на каждую «руку» (низкий и высокий thinking), --limit 15. Dry-run на полный прогон даёт worst case $16.62 на одну руку и $33.23 на обе при совокупном лимите $40. Фактически ушло $7.47: $1.53 на минимальных настройках и $5.95 на максимальных, суммарный перекос между руками около 3.9×.
Паттерн «посчитать worst case → rounds of three → стоп по бюджету» переносится на агентные циклы: каждый лишний виток reasoning оплачивается из того же output-бюджета, что и ответ пользователю.
Gemini 4: 15/15 в обоих режимах, счёт не двигается
Hydrogen, Carbon и Argon решили все 15 задач и на минимальной, и на максимальной настройке thinking. Прироста точности нет; зато на платных моделях максимальный режим добавляет 3.24–4.75× стоимости (по моделям) и 3.2–5.9× медианного времени на задачу при том же счёте. Это укладывается в диапазон 2.6–4.8× из анонса для верхнего thinking на платных линейках.
У Gemma 4 и Flash-моделей картина иная: прирост 1–2 задачи (например Gemma 4 31B: 12→13, 3.8 Flash: 12→14). На выборке из 15 задач автор задаёт порог ~35 пунктов между двумя замерами, чтобы отделиться от случайности; максимальный наблюдённый сдвиг, 2 задачи (13 пунктов), трактуется как возможный шум. Парные тесты на счёте дают p = 0.5–1 для перечисленных моделей; рост числа output-токенов при высоком thinking статистически значим почти для всех платных моделей.
Цена ответа, тарифы и воспроизведение замера
В этом сете самый дешёвый верный ответ у Argon на минимальной настройке: $0.0162 за задачу. Те же 15/15 на максимальном thinking у Hydrogen и Carbon обходятся в $0.1232 и $0.1297 за правильный ответ соответственно.
Рекомендации автора для практики с API:
- Gemini 4 на жёсткой математике: начинать с минимально допустимой настройки thinking.
- Меньшие модели: перед оплатой множителя 2.61–4.20× (Flash-Lite / 3.8 Flash в его таблице) имеет смысл прогнать high thinking на своих задачах, а не на AIME.
- Carbon и Argon: с 2026-12-01 цена output удваивается до $20 за 1M токенов, разрыв с Hydrogen только шире.
Оговорка scope: один ноутбук в США, вызовы API 2026-11-15, temperature 0, одна итерация на модель и настройку. 15 задач не ранжируют модели, если они расходятся меньше чем на ~2 задачи. Позиция Google про high thinking у Carbon для длинной многошаговой работы (debugging, architecture) этот бенчмарк не проверял.
Evidence и скрипты лежат в репозитории автора; ядро запуска:
# датасет AIME 2025 I (15 задач)
python3 build_hard_set.py aime # в benchmarks/gen-eval
# две руки: low и high thinking
docs/gemini-high-vs-low/evidence/run.sh high low
Нужны Python 3, huggingface_hub, scipy, ключ Gemini в ~/gemini.key; Carbon и Argon требуют платный tier. Два запроса Gemma 4 26B на free tier таймаутились (задачи 2 и 13) и засчитаны как неверные; часть ответов Gemma упиралась в лимит 32 768 токенов.
Для vibe-coding с агентами на Gemini API вывод простой: на флагманах сначала зафиксируйте минимальный thinking и померяйте latency/счёт на своём корпусе; покупать «xhigh» имеет смысл только когда видите устойчивый прирост, а не одну-две задачи на крошечной выборке. Таблицы, dry-run бюджета и дерево evidence разобраны у xbill на Dev.to и в открытом репозитории (ссылки ниже).
Источники
- High or Low Thinking? Gemini 4 and Gemma 4 on Hard Math, Cost First, основной пост, верификация 2026-11-17.
- gemma4-dev, docs/gemini-high-vs-low, evidence и скрипты запуска, доступ 2026-11-17.