Перейти к содержимому
Экосистема AI Vibe

Новости

CWE-bench v2: сто задач, где агент чинит уязвимости в живом репо

Редакция 3 ноября 2026 г.

Coding-агент в Docker-среде правит open-source код, пока программный verifier проверяет закрытие уязвимости.

Collinear AI выпустила CWE-bench v2: сто публичных задач, где coding-агент получает checkout реального open-source репозитория и короткую инструкцию — найти уязвимость и исправить её, не сломав существующую функциональность. Оценка полностью программная и детерминированная, без платного ручного судейства. Набор открыт: можно прогнать свою модель и сравнить результат с таблицей на Hugging Face.

Внутри — 91 разный CWE, а не один повторяющийся шаблон. Закрытый held-out набор для отслеживания прогресса по задачам, которые модели ещё не видели, выдают по запросу на cyber@collinear.ai.

Как проверяли задачи

Каждую задачу смотрели вручную и сверяли с чеклистом из поста — среди прочего:

  • инструкция читается как рабочая, а не как «экзамен»;
  • из инструкции можно вывести всё, что проверяет grader;
  • verifier смотрит на поведение, а не на форму одного патча;
  • стартовый код падает, эталонный фикс проходит, функциональность после фикса сохраняется;
  • известный upstream-патч verifier не принимает как готовый ответ.

Кто на лидерборде

На 3 ноября 2026 года в сравнении 11 моделей. Gemini 4 Argon лидирует — 67,8% pass@1 и 81,0% pass@4, чуть впереди Claude Opus 5.5 (67,3% и 78,0%). Хотя бы одна модель решила 95 из 100 задач, но даже лидер на каждой попытке промахивается примерно в 19% набора.

На Pareto-линии по цене за rollout: DeepSeek V4.1 Flash — 57,0% pass@1 за $0,04; Claude Opus 5.5 добавляет десять пунктов за $1,83; Gemini 4 Argon — $3,92. Результаты open-weight моделей обновляются с PR на странице датасета; полное сравнение с API-моделями — в leaderboard Space на Hub.

Как прогнать

Каждая задача — Harbor task: Docker, инструкция, детерминированный verifier; в датасете лежит registry.json. Harbor тянет задачи прямо с репозитория на Hugging Face, без ручного клонирования — команда из поста: harbor run --repo "https://huggingface.co/datasets/collinear-ai/cwe-bench" -d cwe-bench@2.0 -k 4 с указанием агента, модели и Docker. Флаг -k 4 даёт четыре попытки на задачу, итог — средний reward по 400 прогонам.

Датасет gated: сначала принять условия на странице, затем hf auth login --token $HF_TOKEN --add-to-git-credential. Задачи помечены rl-environment — те же среды можно использовать для обучения defensive-агентов, не только для оценки.

Источник: CWE-bench v2: More coverage, quality, and transparency.