AISI публикует проверенные Evaluation Cards для SWE-Bench Pro и Terminal-Bench

UK AI Security Institute через EvalEval выложил открытые Evaluation Cards , проверенные результаты, контекст и конфигурация прогона в одной записи. В релизе от 22 сентября 2026 года пять бенчмарков из основного эксперимента статьи AISI о том, как лимит токенов на инференсе и протокол оценки меняют цифры в таблице лидеров. Что в наборе HealthBench, FrontierMath, Humanity's Last Exam SWE-Bench Pro и Terminal-Bench 2.0 , репозиторий и терминальные задачи для кодинг-агентов Основной срез , шесть frontier-моделей: Claude Opus 4, Claude Opus 4.5, Claude Opus 4.6, GPT-5, GPT-5.2 и GPT-5.4. Отдельно выложены cyber-оценки Cyber CTFs и The Last Ones с частично другим списком моделей. Зачем смотреть карточку, а не скрин На Humanity's Last Exam кривые показывают долю решённых задач при заданном лимите токенов; с feedback от oracle после каждой попытки модели продолжали закрывать новые задачи по мере роста лимита. Записи собраны по схеме Every Eval Ever: метаданные бенчмарка, прогон и модель вместе , так проще сопоставить Terminal-Bench 2.0 от AISI с чужими отчётами по тем же весам и увидеть, что процент разъехался из-за настроек прогона. Схему EEE EvalEval и AISI дорабатывали после совместного воркшопа у NeurIPS 2025; у института уже есть OptStop и HiBayES для эффективности и статистики прогонов. Источник: How UK AISI and EvalEval Are Making Benchmark Results Reproducible .