GeneBench-Pro: агенты на грязных данных — 28,7% у GPT-5.6 Sol

GPT-5.6 Sol проходит 28,7% задач GeneBench-Pro при максимальном уровне рассуждений — OpenAI запустила бенчмарк, где агенту дают «грязный» датасет и короткий контекст эксперимента, а не пошаговый сценарий. 129 задач в десяти доменах проверяют, умеет ли модель исследовать данные, выбрать анализ и вовремя пересмотреть план.

Что измеряют

Авторы называют ключевую способность research taste — цепочку суждений: какие вопросы данные тянут, как ранние диагностики меняют модель, когда первый план надо бросить. 82 из 129 вопросов проверяли внешние эксперты, включая аспирантов и профессоров UCLA; типичный провал агентов — на расхождениях в данных, когда модель недостаточно осторожна.

Как устроена проверка

Каждая задача — изолированная среда: промпт, файлы данных, Python и genomics-пакеты вроде PLINK 2.0. Ответ — один JSON с полями answer и reasoning; данные синтетические с известной причинной структурой, чтобы отличить правильный путь анализа от shortcut.

На минимальном уровне рассуждений GPT-5.6 Sol у GPT-5.2 проходит почти в шесть раз меньше задач; на максимальном — решает их почти вшестеро больше при двух третях токенов. В Pro mode — 31,5%; когда собирали первый GeneBench, GPT-5 набирал менее 5%. Разрыв между GPT-5.6, GPT-5.5 и open-source GLM 5.2 здесь шире, чем на coding-бенчмарках.

Что выложили

10 репрезентативных задач — на Hugging Face с интерактивным веб-интерфейсом; ещё 50 вопросов передадут в Artificial Analysis. Эксперт тратит на одну задачу 20–40 часов — при $200/час это тысячи долларов против нескольких долларов на inference. Постдок Cyrillus Tan из New York Genome Center подчёркивает: формулировка промпта и контракт задачи сильно меняют, какие анализы агент считает допустимыми.

Источник: Introducing GeneBench-Pro.