Gemini Decisions API против chat и локальной Gemma: что даёт замер triage-агента

На одном тикете сходятся три контура: закрытый Decisions API, полноценный generative chat и Gemma 4 E2B на своём CPU. Свежий бенчмарк для соло-агента показывает: ускорение без генерации не спасёт маршрутизацию, если вы не режете поток по confidence и не держите fallback на крупной модели. Google выкатил Decisions API 11 ноября 2026; замер сопоставил его с четырьмя generative-бэкендами на 48 размеченных тикетах поддержки, отдельно прогнал от 1 до 100 yes/no-вопросов в одном запросе и собрал ADK-агент с guardrail и triage-tools.
Decisions API: закрытый scoring вместо свободного chat
Gemini Decisions API (gemini-decision-1) принимает один общий input (текст, изображения, аудио, видео или PDF) и до 1000 структурированных questions. Текст модель не генерирует: API оценивает фиксированные варианты и отдаёт вероятности. Типы вопросов: noul (да/нет), choice (от 2 до 255 опций) и score (уровни по рубрике); поле confidence даёт вероятность, что топовый ответ верен.
Для агентного triage это прямой заменитель цепочки «промпт + JSON Schema + парсинг»: ветвление по enum без ручного if/else в системном сообщении. Тариф Google: $0.10 за миллион input-токенов, output бесплатен. Вызов идёт через POST /v1beta/decisions; Python SDK: client.decisions.create() при google-genai ≥ 3.2.
Для соло-workflow важна не только скорость, а разводка окружений:
google-adk2.x тянетgoogle-genai< 3, поэтому SDK и ADK не делят одно venv. В демо REST черезhttpxработает в обоих контурах.
48 тикетов: пять бэкендов и порог уверенности
На каждом из 48 тикетов (EN/ES/DE) заданы одни и те же три решения:
- Команда (
choice): billing, shipping, technical, account, returns, other. - Возврат денег (
noul). - Срочность (
score: low, normal, high).
Сравниваются Decisions API, Gemini 3.8 Flash, Gemini 4 Hydrogen, Gemini 3.5 Flash-Lite и Gemma 4 E2B на llama-server (CPU Intel i7-10750H). Generative-модели получают промпт и JSON Schema с enum; Decisions оценивает варианты. Ошибок выполнения у всех бэкендов не было.
| Метрика | Decisions | 3.8 Flash | 4 Hydrogen | 3.5 Flash-Lite | Gemma 4 E2B |
|---|---|---|---|---|---|
| Team (верно) | 46/48 | 46/48 | 45/48 | 45/48 | 43/48 |
| Refund | 47/48 | 48/48 | 48/48 | 45/48 | 46/48 |
| Urgency | 31/48 | 42/48 | 40/48 | 44/48 | 39/48 |
| Все три поля | 29/48 | 40/48 | 38/48 | 39/48 | 36/48 |
| Медиана времени | 202 ms | 2373 ms | 1951 ms | 714 ms | 3352 ms |
Прогон Decisions обошёлся в $0.0018 на 17 950 input-токенов. Медиана Decisions в 3.5× быстрее Flash-Lite, в 9.7× быстрее Hydrogen, в 11.7× быстрее 3.8 Flash. Лучший «всё сразу» у generative: 3.8 Flash (40/48); у Decisions по срочности заметно слабее остальных (31/48).
Отсев по confidence ≥ 0.7 опирается на документацию API:
| Вопрос | ≥ 0.7: верно | < 0.7: верно |
|---|---|---|
| Team | 41/42 | 5/6 |
| Refund | 46/46 | 1/2 |
| Urgency | 23/23 | 8/25 |
Все 17 промахов Decisions по urgency лежат среди ответов ниже 0.7. Выше порога срочность угадывается без ошибок; ниже порога половина полей ломается. Для агентного контура смысл простой: автоматизировать только «уверенные» ветки, сомнительное отдавать человеку или крупной generative-модели. У chat-бэкендов в замере нет per-answer confidence для такого сплита.
Decisions систематически завышает срочность (17 раз на уровень выше, 0 вниз), ни один high не ушёл в normal. Gemma на CPU, наоборот, 4 из 8 high-urgency свела к normal: в triage это дорого, потому что занижение срочности тянет задержку ответа.
Batch до 100 вопросов и гибрид ADK
На одном коротком тикете (59 слов) гонялся один повторяющийся вопрос («упоминается ли возврат?») 1, 10, 25, 50, 100 раз в одном запросе, по три повтора на ячейку (в таблице медиана).
| Вопросов | Decisions | 3.8 Flash | 4 Hydrogen | 3.5 Flash-Lite | Gemma E2B |
|---|---|---|---|---|---|
| 1 | 224 ms | 1 898 ms | 1 699 ms | 852 ms | 1 825 ms |
| 100 | 359 ms | 7 191 ms | 8 625 ms | 2 584 ms | 115 280 ms |
Рост медианы 1→100: Decisions ×1.6, Flash-Lite ×3.0, 3.8 Flash ×3.8, Hydrogen ×5.1, Gemma ×63.2. При 100 вопросах Decisions в 7.2× быстрее Flash-Lite и в 20× быстрее 3.8 Flash. Для оркестратора с плотным набором policy-check на один документ логичнее не плодить десятки отдельных tool calls, а упаковывать закрытые вопросы в один decisions-запрос, пока latency остаётся плоской.
Демо ADK triage (google-adk 2.13.0) держит диалог на Gemini 3.5 Flash, а решения в двух местах отдаёт Decisions API.
- Guardrail в
before_model_callback: одинnoulна prompt injection до вызова LLM; приnoul ≥ 0.8ответ от callback, LLM не вызывается (пример injection: 0.98). - Tools:
triage_ticket(Decisions, три вопроса,needs_human_reviewпри confidence < 0.7) иtriage_with_gemma(локальная Gemma, те же вопросы). - Локальный контур: OpenAI-compatible
127.0.0.1:8080для Gemma; UI:http://127.0.0.1:8000/dev-ui/.
Паттерн для vibe-coding: дешёвый детерминированный слой (injection screen + triage) плюс generative только там, где нет уверенности или нужен диалог. Guardrail на injection укладывается в sub-250 ms до дорогого reasoning.
Что перенести в стек агента
Практический вывод замера:
- Decisions API: routing, yes/no policy, screening перед агентом; team+refund на одном тикете близки к лучшим generative; confidence для маршрутизации; биллинг только за input.
- Generative fallback: ответы Decisions < 0.7; 3.8 Flash даёт лучший all-three score; Flash-Lite сильнее по urgency при медиане < 1 s.
- Hydrogen быстрее 3.8 Flash по медиане, но съедает в 2.9× больше output-токенов на том же промпте.
- Gemma локально, когда данные не должны уходить с машины: секунды на тикет допустимы, но high-urgency на CPU рискованнее.
- Для полей
score/urgency перед sole reliance на Decisions подстройте рубрику или пороги; иначе быстрый API даёт систематический перекос вверх.
Оговорки узкие: одна серия из 48 текстовых тикетов, домашний канал 13 ноября 2026, answer key вручную, scale на одном тикете, без image/audio/PDF. Сырые строки в репозитории xbill9/decisions-api; воспроизвести на своём железе и своих rules/skills агента разумнее, чем копировать порог 0.7 вслепую.
Источники
- Benchmarking the Gemini Decisions API, основной пост, метрики и архитектура ADK (доступ при обогащении: 2026-11-14 UTC).
- xbill9/decisions-api, демо,
bench.py,scale, evidence agent runs.