ReviewBench: GitHub дал общую линейку для AI-ревью pull request

ReviewBench — открытый офлайн-бенчмарк для агентов code review: GitHub выложил общий набор pull request и одну рубрику, чтобы сравнивать ревьюеры без «у нас свой датасет». Перед тем как вешать AI-ревью в CI или в редактор, агента можно прогнать на тех же PR, что и у конкурентов, и увидеть не только шум, но и пробелы по критичности.

От 100 млн PR к выборке

Распределения сняли с 103,9 млн pull request на платформе — языки, размер репозитория, форма diff. В корпус вошли 219 публичных PR из 187 репозиториев и 19 языков; по языкам и размерам картина близка к GitHub в целом. Размер изменений намеренно сдвинули к середине и «хвосту»: меньше однофайловых мелочей, больше многофайловых правок, где ревью реально решает.

Эталон и две линейки метрик

Кандидаты в замечания собирают из комментариев людей, follow-up коммитов авторов, статического анализа и нескольких топовых LLM разных семейств; пересечения сливают семантически, чтобы согласие источников не раздувало эталон. В golden set попадает только то, что правдиво, уместно и нетривиально; оценщик — Claude Sonnet 5, рубрика и judge опубликованы. До релиза senior-инженеры с нуля переразметили эталон: 96,6 % согласия с golden true-positive.

• Severity: Critical, Medium, Low — можно резать лидерборд под свой порог.
• Category: Correctness, Security, Reliability, Maintainability, Testing и другие.
• Grounded recall — главная метрика для сравнения систем; augmented precision/recall дают кредит валидным находкам вне эталона, чтобы сильный агент не штрафовался за то, что golden set не собрал.

GitHub для Copilot code review уже смотрит на сдвиги бенчмарка как на прогноз прод-экспериментов. Research preview открыт на сайте проекта: лидерборд, датасет и прогон своего review-агента офлайн.

Источник: ReviewBench: An open benchmark for AI code review.