Jev-as-a-judge в LangSmith: типизированный судья вместо дорогого LLM

В LangSmith Evals можно подключить Jev-as-a-judge от TypeSafe AI — третий класс оценки агентов рядом с кодовыми проверками и LLM-судьёй. Модель System One не генерирует текст: по trace она возвращает типизированные ответы, которые сразу попадают в feedback keys. LangChain подключила её к online eval тем же путём, что LLM-as-a-judge, но критерии задаются набором вопросов, а не рубрикой в промпте.

Между кодом и LLM-судьёй

Code-based eval быстро ловит «вызвал ли tool» и «есть ли поле», но три разных корректных решения одной задачи всё равно провалят жёсткую проверку. LLM-as-a-judge закрывает открытые сценарии ценой скорости, цены и разброса вердикта; отдельная боль — превращение свободного текста в структуру. Jev задуман как компромисс: смысл открытого поведения без блока текста, который потом парсится.

Типы вопросов

• noul — вероятность «да/нет», например утечка PII
• choice — один вариант из набора, например интент пользователя
• score — шкала по порядку, например уровень фрустрации

TypeSafe заявляет до ~450× меньшую стоимость и до ~200× большую скорость, чем у сопоставимых LLM на классификации. Все вопросы в одном запросе считаются параллельно — второй и третий критерий почти не увеличивают время ответа.

Один внутренний прогон

LangChain сравнили Jev с GPT-5.6 Luna, GPT-5.6 Terra и Claude Sonnet 4.6 на одном агенте: решения совпали с человеческим ревьюером, разброс вердикта у LLM-судей был на порядки выше. Среднее время вызова — 0,44 с у Jev против 2,16–2,83 с у LLM-судей.

Полный набор критериев обошёлся в $0,34 при $0,00035 за вызов; тот же прогон с Claude Sonnet 4.6 — $28,17. Это один кейс, но авторы считают сигнал рабочим для узких typed-решений на объёме.

Как включить

В tracing project откройте Evaluators, создайте LLM-as-a-Judge evaluator, в Model Configuration выберите TypeSafe и модель jev-latest, секрет TYPESAFE_API_KEY — в Provider secrets. State — trace или thread без инструкций по оценке; формулировки критериев живут в вопросах. Каждый вопрос становится отдельным feedback key — фильтры, графики и алерты на утечки, prompt injection или toxicity, как у остальной обратной связи в LangSmith.

Источник: Jev-as-a-Judge Is Now Available in LangSmith.