Jev дал стабильные eval дешевле LLM-судьи — тест LangSmith

LangChain сверила Jev от TypeSafe AI с привычными LLM-судьями на одних и тех же зафиксированных трассах агента в LangSmith. Jev — не генеративная модель: это decision-модель класса System One, она сразу возвращает типизированный вердикт и вероятности, без промежуточного текста. Задача стенда — понять, может ли такой подход стать третьим слоем eval между кодом и LLM-as-a-judge.

Форматы вопросов

Под rubric у Jev три режима: Choice — один вариант из списка с confidence; Score — упорядоченная шкала качества; Noul — вероятность для ответа да/нет. Несколько атомарных вопросов можно прогнать параллельно на одном state, чтобы один run агента дал несколько независимых сигналов.

Как собирали датасет

• Целевой агент на Deep Agents 0.7.15, в LangSmith — пять погодных запросов с зафиксированным output.
• На каждый пример два сигнала: continuous quality и бинарный does_pass.
• 100 повторов на одну трассу; эталон — разметка человека по той же rubric.
• Сравнение с GPT-5.6 Luna, GPT-5.6 Terra и Claude Sonnet 4.6 через LangSmith Gateway; Jev — пакет langchain-typesafe==0.0.1a2.

Точность, разброс и цена

По does_pass Jev совпал с oracle на всех 500 повторных решениях. Terra — на 99.8%, Luna — на 96.4%, Claude Sonnet 4.6 — на 80.0%.

Средняя per-case variance по quality у Jev — 0.0000149; у Luna разброс в 433 раза выше, у Terra — в 913, у Claude — в 92. В среднем 0.44 с на вызов и $0.00035 за judgment; на весь прогон в их сравнении $0.34 против $28.17 у Claude.

Это узкий эксперимент — пять weather-run'ов, не продакшен-портфель. Низкая цена не компенсирует судью, который стабильно ошибается. Код и конфиги — в danielgshea/jev-as-a-judge; 22 сентября LangChain и TypeSafe AI проводят вебинар про harness с Jev.

Источник: Can Jev Be a Better Agent Evaluator?.