Перейти к содержимому
Экосистема AI Vibe

Новости

Агенты как пользователи: evals, пирамида тестов и Harbor

Редакция 16 ноября 2026 г.

ИИ-агент в песочнице выполняет заказ через CLI, верификатор сверяет итог с требованиями пользователя.

Агенты всё чаще заходят в продукты сами — через API, CLI, MCP или SDK. На этапе Success важно не «запрос отработал», а то, что задача пользователя закрыта верно; Vercel разобрала, как это мерить серией eval-прогонов, а не разовым ручным тестом. Один удачный запуск после правки промпта мало что доказывает: выводы LLM плавают от прогона к прогону.

На вымышленном CLI sfbeans для заказа кофе агент может «успешно» оформить горячий латте вместо iced, опоздать к pickup или превысить бюджет с налогом и чаевыми — а стек наблюдаемости при этом выглядит здоровым. Типичный запрос: большой iced latte, выдача к 9:00, до $8 с чаевыми, район Mission; в 8:30 по замороженным данным только одно кафе укладывается во все три ограничения.

Пирамида agentic-тестов

Обычный тест спрашивает «сработало?», eval — «как часто и насколько хорошо». Слои завязаны на число вызовов модели на прогон:

  • Детерминированные тесты — 0 вызовов LLM, быстрые и дешёвые, основа набора.
  • One-turn evals — одно решение, например какую команду агент запускает первой.
  • E2E evals — вся цепочка шагов; для Success нужен этот верх, как в SWE-bench и Terminal-Bench.

Метрики на пяти прогонах

Для заказа iced latte в Mission Harbor гоняют вариант Claude Code + Opus 5.5 через AI Gateway: из пяти trial три проходят — success rate 60%. Pass@5 около 99%: в пяти попытках почти наверняка будет хотя бы один верный заказ. Pass^5 около 8%: пять подряд без ошибки — редкость. Для утреннего кофе без права на переделку важнее pass^k; у кодового агента с тестами чаще смотрят pass@k.

На успешных trial в среднем около 9 шагов, около 3:50 и около $0,56 за успех; с учётом провалов — примерно $0,78 на каждый в итоге верный заказ.

Сборка задачи в Harbor

Harbor — open-source фреймворк от авторов Terminal-Bench: поднимает агента в контейнере, пишет trace и сверяет финал. Одна задача — instruction, sandbox с фиксированным стартом (засеянные кафе, «замороженные» 8:30 для sfbeans), verifier и опциональный эталонный solution. Verifier в демо пишет оценку в /logs/verifier/reward.json; check_orders.py ставит reward 1 только если совпали все ограничения.

Интеграция Harbor с Vercel гоняет trial параллельно в отдельных Vercel Sandbox и кеширует собранные среды задач, чтобы не пересобирать их на каждый прогон — иначе полный матричный run в CI тянется из‑за ожидания LLM на каждом шаге.

Источник: Agents are users, so your software needs evals.