GeneBench-Pro: 10 кейсов, где модель сдаёт JSON с обоснованием, а не цифру

30 июня 2026 года OpenAI опубликовала десять кейсов GeneBench-Pro — бенчмарка на сложную аналитику с реальными данными. Модель получает промпт и набор tsv-файлов, на выходе — ровно один JSON без markdown-обёртки и без текста до или после объекта. Для агентного пайплайна это удобный референс: цифры валидируются по схеме, ход мыслей уходит в отдельное поле на ревью.

Как устроена проверка

В промпте каждого кейса прямо сказано: данные из настоящего эксперимента, оценивают не только числовую точность, но и качество аналитического хода — без попыток срезать путь. Формат ответа жёсткий: блок answer с числовыми полями и строка reasoning с описанием метода и QC. Запрещены markdown-обёртка, проза до JSON и пропуск ключей из примера.

Десять тем из каталога

• Соматическая онкология: benefit-risk по ингибитору при структурном варианте — week-16 benefit и 8-week toxicity
• Функциональная геномика: CRISPR-валидация — зависимость от lncRNA-транскрипта или соседнего локуса
• Статистическая генетика: cis-MVMR для двух белков в связанном локусе
• Клиническая геномика: residual risk при carrier screening с калибровкой CNV и псевдогенов
• Single-cell геномика: eQTL в активированных моноцитах после коррекции ambient RNA
• Структурная генетика: nested structural variant — экспрессия и клиническая ассоциация

Ещё четыре кейса — chromatin-loop артефакты, multiparent QTL, parent-specific ancestry и ancient DNA time series; шаблон тот же: файлы, промпт, JSON с обоснованием. Повторяющийся контракт — несколько таблиц на входе, многошаговый анализ в промпте, на выходе отдельно проверяемый answer и текстовое поле под QC.

Источник: Inside Genebench-Pro.