Jev в LangChain: System One-модель вместо LLM на каждый выбор агента

Агентный цикл тормозит не на одном большом промпте, а на десятках мелких решений — каждое через полный вызов LLM. TypeSafe AI выпустила Jev: модель класса System One, которая не пишет текст, а оценивает состояние и отдаёт типизированные ответы с вероятностями. На классификации компания заявляет до 200× ускорение и до 400× снижение стоимости относительно сопоставимых LLM.

На вход — контекст и список вопросов; Jev отвечает по всем пунктам параллельно, почти не увеличивая время. Обучение идёт методом RLCD — reinforcement learning для калиброванных решений, без chat-вызова на каждый шаг. В документации пример с тикетом поддержки: вопрос «срочно ли?» даёт 99,9% вероятности — приложение может поднять приоритет без отдельного чата с моделью.

Три типа вопросов

• Choice — выбор из набора опций с вероятностями и общей уверенностью.
• Score — оценка по шкале (low, medium, high) с непрерывным score и распределением.
• Noul — да/нет с вероятностью истинности утверждения.

Как подключить в LangChain

Пакет langchain-typesafe и класс TypeSafeClassifier: в .invoke() уходят state и questions, на выходе — классификация, не chat-ответ. Контекст может быть текстом, структурой или сообщениями LangChain — удобно вызывать из узла графа или middleware с тем же контекстом, что уже крутится у агента.

Где пригодится в агенте

• Маршрутизация моделей — ModelRouterMiddleware просит Jev выбрать модель по критериям: простые lookup на дешёвую, архитектурные задачи на мощную. Вероятности остаются в state агента.
• Auto Mode — AutoModeMiddleware проверяет tool call на риск до выполнения (например, bash) и блокирует опасные вызовы.

Такой шаг классификации до исполнения давно есть в coding harness — Cursor, Claude Code, Codex. Jev выносит тот же приём в открытый стек LangChain и делает его дешевле, чем отдельный LLM на каждый микровыбор.

Источник: Building a Harness with Jev.