Jev в Python SDK: узкие решения без длинной генерации

Vercel встроила в AI SDK для Python экспериментальный evaluate() — прямой вызов Jev: на контекст и вопросы с вариантами модель отвечает структурированным JSON и указывает уверенность по каждому ответу, без потока текста как в обычном чате.

Поставить пакет — uv add ai, для запросов нужен ключ AI Gateway в переменной AI_GATEWAY_API_KEY. В API по сути одна функция: модель, состояние (строка или JSON) и набор вопросов. Jev позиционируют как дешёвый и быстрый слой для узких решений; под ваш кейс точность всё равно проверяют на своих данных.

Типы вопросов

• ChoiceQuestion — выбрать один вариант из списка.
• ScoreQuestion — оценить состояние по заданной шкале.
• NoulQuestion — оценить вероятность, что утверждение верно.

REPL: английский или Python

Практичный кейс — агентный REPL, который сам понимает, пишете вы по-английски или код на Python, без явного переключения режимов. Автор потратил два дня на свой классификатор на случайной выборке кода и текста и получил дёрганый UX: при наборе if i подсветка прыгала между языками. Jev на тех же вопросах ведёт себя заметно ровнее, но на недописанных фрагментах вроде what's и up всё ещё промахивается.

Python через дерево выборов

Второй эксперимент намеренно дурацкий: заставить Jev «писать» код, выбирая по букве или слову. Так даже простой if почти не собирается; рабочий обход — наращивать абстрактное синтаксическое дерево: план шагов генерирует GPT-5.6, на каждом шаге Jev выбирает следующий узел из списка с превью кода, а хост дорисовывает отступы и скобки. Программы выходят синтаксически валидными, но по смыслу чаще мимо; исходники эксперимента лежат на GitHub.

Источник: Jev for Python engineers.