Перейти к содержимому
Экосистема AI Vibe

Новости

Не каждый шаг агента должен идти в LLM: код, выбор, потом модель

Редакция 18 ноября 2026 г.

Схема агентного воркфлоу: сначала правила и ветвление Step Functions, затем узкая классификация, к генеративной модели уходит только остаток запросов.

Главный рычаг расходов в агентском пайплайне — не тариф на Bedrock, а то, вызываете ли модель на каждом шаге. Amazon разложила развилку из трёх вопросов: проверяемый формат, правило один раз с ревью (regex или JSON Schema), ответ из фиксированного списка — и только потом открытая генерация на подобранной по качеству модели.

В прототипе валидацию, переформатирование тела запроса и роутинг часто вешают на LLM: на малых объёмах это не бросается в глаза. В проде траты растут с числом запросов, каждый вызов в цепочке добавляет сотни миллисекунд задержки, а один и тот же ввод может вернуть разный ответ. AWS Well-Architected Generative AI Lens обычно начинают с выбора модели; здесь акцент на шаг раньше — нужна ли модель на этом этапе вообще.

Пять шагов ассистента поддержки

В примере customer support assistant каждый этап проходит через ту же схему:

  • Формат номера заказа — чистое правило: валидация на Amazon API Gateway или в AWS Lambda.
  • Роутинг по интенту — быстрый путь по ключевым словам в AWS Step Functions (Choice, JSONata), остаток — constrained decision call.
  • Трек-номер из письма перевозчика — модель один раз чертит regex, вы ревьюите и коммитите; дальше работает код.
  • Очередь из четырёх вариантов — выбор из списка; неуверенные случаи эскалируют на модель побольше.
  • Черновик ответа клиенту — открытая задача, самая дешёвая модель Amazon Bedrock, которая тянет качество.

Выбор без генерации текста

Маршрутизация и классификация сидят между правилом и свободным текстом: нужен один ответ из заранее заданного списка, а не абзац. На AWS — четыре варианта: маленькая модель Bedrock со structured outputs (enum плюс «unsure»), embedding similarity с порогом эскалации, экспериментальный Strands Decider (в README для уверенности 0.9 и выше на коротких классификациях заявлено около 95% попаданий — на своих данных проверять), классификатор на Amazon SageMaker AI с вероятностями классов. Авторизацию вроде лимита на refund оставляют в коде.

Быстрый путь до модели

Паттерн fast path: сначала детерминированная проверка, в модель — только хвост. Сообщения с «refund» или «reset my password» закрываются ключевым словом за единицы миллисекунд; если правила закрывают 95% обращений, до модели доходит каждый двадцатый запрос — ещё до экономии на размере модели (иллюстративная арифметика из поста, не бенчмарк). Step Functions Choice с JSONata отправляет совпадения сразу в RefundFlow или PasswordResetFlow, остальное — в constrained decision call.

Когда JSON всё же нужен от модели, схема с additionalProperties: false и enum очередей фиксирует допустимые значения; диапазоны и длины лучше дожимать кодом после парсинга. Regex или схему, которые модель набросала один раз, имеет смысл прогнать по известным хорошим и плохим входам — и не допускать вложенных квантификаторов вроде (a+)+, из‑за которых матчинг может тормозить (ReDoS).

Источник: Cut generative AI costs: Code for rules, models for judgment.