Перейти к содержимому
Экосистема AI Vibe

Разборы

Gemini Decisions API против chat и локальной Gemma: что даёт замер triage-агента

Редакция 14 ноября 2026 г.

Gemini Decisions API против chat и локальной Gemma: что даёт замер triage-агента

На одном тикете сходятся три контура: закрытый Decisions API, полноценный generative chat и Gemma 4 E2B на своём CPU. Свежий бенчмарк для соло-агента показывает: ускорение без генерации не спасёт маршрутизацию, если вы не режете поток по confidence и не держите fallback на крупной модели. Google выкатил Decisions API 11 ноября 2026; замер сопоставил его с четырьмя generative-бэкендами на 48 размеченных тикетах поддержки, отдельно прогнал от 1 до 100 yes/no-вопросов в одном запросе и собрал ADK-агент с guardrail и triage-tools.

Decisions API: закрытый scoring вместо свободного chat

Gemini Decisions API (gemini-decision-1) принимает один общий input (текст, изображения, аудио, видео или PDF) и до 1000 структурированных questions. Текст модель не генерирует: API оценивает фиксированные варианты и отдаёт вероятности. Типы вопросов: noul (да/нет), choice (от 2 до 255 опций) и score (уровни по рубрике); поле confidence даёт вероятность, что топовый ответ верен.

Для агентного triage это прямой заменитель цепочки «промпт + JSON Schema + парсинг»: ветвление по enum без ручного if/else в системном сообщении. Тариф Google: $0.10 за миллион input-токенов, output бесплатен. Вызов идёт через POST /v1beta/decisions; Python SDK: client.decisions.create() при google-genai ≥ 3.2.

Для соло-workflow важна не только скорость, а разводка окружений: google-adk 2.x тянет google-genai < 3, поэтому SDK и ADK не делят одно venv. В демо REST через httpx работает в обоих контурах.

48 тикетов: пять бэкендов и порог уверенности

На каждом из 48 тикетов (EN/ES/DE) заданы одни и те же три решения:

  1. Команда (choice): billing, shipping, technical, account, returns, other.
  2. Возврат денег (noul).
  3. Срочность (score: low, normal, high).

Сравниваются Decisions API, Gemini 3.8 Flash, Gemini 4 Hydrogen, Gemini 3.5 Flash-Lite и Gemma 4 E2B на llama-server (CPU Intel i7-10750H). Generative-модели получают промпт и JSON Schema с enum; Decisions оценивает варианты. Ошибок выполнения у всех бэкендов не было.

Метрика Decisions 3.8 Flash 4 Hydrogen 3.5 Flash-Lite Gemma 4 E2B
Team (верно) 46/48 46/48 45/48 45/48 43/48
Refund 47/48 48/48 48/48 45/48 46/48
Urgency 31/48 42/48 40/48 44/48 39/48
Все три поля 29/48 40/48 38/48 39/48 36/48
Медиана времени 202 ms 2373 ms 1951 ms 714 ms 3352 ms

Прогон Decisions обошёлся в $0.0018 на 17 950 input-токенов. Медиана Decisions в 3.5× быстрее Flash-Lite, в 9.7× быстрее Hydrogen, в 11.7× быстрее 3.8 Flash. Лучший «всё сразу» у generative: 3.8 Flash (40/48); у Decisions по срочности заметно слабее остальных (31/48).

Отсев по confidence ≥ 0.7 опирается на документацию API:

Вопрос ≥ 0.7: верно < 0.7: верно
Team 41/42 5/6
Refund 46/46 1/2
Urgency 23/23 8/25

Все 17 промахов Decisions по urgency лежат среди ответов ниже 0.7. Выше порога срочность угадывается без ошибок; ниже порога половина полей ломается. Для агентного контура смысл простой: автоматизировать только «уверенные» ветки, сомнительное отдавать человеку или крупной generative-модели. У chat-бэкендов в замере нет per-answer confidence для такого сплита.

Decisions систематически завышает срочность (17 раз на уровень выше, 0 вниз), ни один high не ушёл в normal. Gemma на CPU, наоборот, 4 из 8 high-urgency свела к normal: в triage это дорого, потому что занижение срочности тянет задержку ответа.

Batch до 100 вопросов и гибрид ADK

На одном коротком тикете (59 слов) гонялся один повторяющийся вопрос («упоминается ли возврат?») 1, 10, 25, 50, 100 раз в одном запросе, по три повтора на ячейку (в таблице медиана).

Вопросов Decisions 3.8 Flash 4 Hydrogen 3.5 Flash-Lite Gemma E2B
1 224 ms 1 898 ms 1 699 ms 852 ms 1 825 ms
100 359 ms 7 191 ms 8 625 ms 2 584 ms 115 280 ms

Рост медианы 1→100: Decisions ×1.6, Flash-Lite ×3.0, 3.8 Flash ×3.8, Hydrogen ×5.1, Gemma ×63.2. При 100 вопросах Decisions в 7.2× быстрее Flash-Lite и в 20× быстрее 3.8 Flash. Для оркестратора с плотным набором policy-check на один документ логичнее не плодить десятки отдельных tool calls, а упаковывать закрытые вопросы в один decisions-запрос, пока latency остаётся плоской.

Демо ADK triage (google-adk 2.13.0) держит диалог на Gemini 3.5 Flash, а решения в двух местах отдаёт Decisions API.

  • Guardrail в before_model_callback: один noul на prompt injection до вызова LLM; при noul ≥ 0.8 ответ от callback, LLM не вызывается (пример injection: 0.98).
  • Tools: triage_ticket (Decisions, три вопроса, needs_human_review при confidence < 0.7) и triage_with_gemma (локальная Gemma, те же вопросы).
  • Локальный контур: OpenAI-compatible 127.0.0.1:8080 для Gemma; UI: http://127.0.0.1:8000/dev-ui/.

Паттерн для vibe-coding: дешёвый детерминированный слой (injection screen + triage) плюс generative только там, где нет уверенности или нужен диалог. Guardrail на injection укладывается в sub-250 ms до дорогого reasoning.

Что перенести в стек агента

Практический вывод замера:

  • Decisions API: routing, yes/no policy, screening перед агентом; team+refund на одном тикете близки к лучшим generative; confidence для маршрутизации; биллинг только за input.
  • Generative fallback: ответы Decisions < 0.7; 3.8 Flash даёт лучший all-three score; Flash-Lite сильнее по urgency при медиане < 1 s.
  • Hydrogen быстрее 3.8 Flash по медиане, но съедает в 2.9× больше output-токенов на том же промпте.
  • Gemma локально, когда данные не должны уходить с машины: секунды на тикет допустимы, но high-urgency на CPU рискованнее.
  • Для полей score/urgency перед sole reliance на Decisions подстройте рубрику или пороги; иначе быстрый API даёт систематический перекос вверх.

Оговорки узкие: одна серия из 48 текстовых тикетов, домашний канал 13 ноября 2026, answer key вручную, scale на одном тикете, без image/audio/PDF. Сырые строки в репозитории xbill9/decisions-api; воспроизвести на своём железе и своих rules/skills агента разумнее, чем копировать порог 0.7 вслепую.


Источники

  • Benchmarking the Gemini Decisions API, основной пост, метрики и архитектура ADK (доступ при обогащении: 2026-11-14 UTC).
  • xbill9/decisions-api, демо, bench.py, scale, evidence agent runs.