Идея «новая» или нет: LLM-судья меняет вердикт от одного промпта

Ai2 опубликовала бенчмарк для судей новизны — моделей, которые оценивают, насколько исследовательская идея отличается от уже известного. На одних и тех же парах гипотез смена формулировки промпта или бюджета рассуждений меняет вердикт сильнее, чем ожидаешь, если в пайплайне второй вызов LLM отсеивает «слишком банальное» после генерации.

Как собрали выборку

Авторы прогнали автоматический пайплайн по рецензиям ICLR 2026 и вытащили фрагменты, где рецензенты явно обсуждали оригинальность, а не использовали accept/reject как замену оценке новизны. В пул с сильными сигналами новизны — 154 идеи из принятых работ топ-10% по области; в пул слабой новизны — 145 из отклонённых нижних 10% с претензиями к оригинальности.

Отдельный срез Human+Generated ставит те же 154 человеческие гипотезы рядом с 154 идеями от простого генератора LLM без поиска по литературе. Эксперт вручную разобрал 30 спорных пар и во всех предпочёл человеческую идею; ни одну AI-гипотезу не назвал новой.

Где ломается стабильность

Тестировали шесть моделей — GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 и Claude Opus 4.6 — в pointwise и pairwise сравнениях, меняя по одному фактору за раз.

На Human+Generated у GPT-5.4 промпт с подсказкой про рецензентов дал 93,5% точности, упрощённый вопрос «какая идея новее» — 40,9%, и модель переворачивала ответ на более чем половине тех же пар. На Human-Only аналогичный сдвиг у Claude Opus 4.6 — около 21 процентного пункта; в других настройках разница формулировок превышала 50 п.п.

Агент GPT-5.6 Sol с поиском по arXiv и повышенным reasoning набрал macro-F1 0,78 при стоимости примерно в 10 раз выше простых судей. Простой промпт Claude Opus 4.6 в том же сравнении — 0,89 macro-F1; на Human+Generated тот же Claude с majority voting из трёх вызовов дал 0,854 macro-F1 за $2,59 против $30,66 у Idea Novelty Checker (0,642) и $82,05 у novelty-блока Sakana AI Scientist (0,772).

Вместе с paper открыты данные, код и пайплайн для новых evaluation sets из рецензий — чтобы проверять устойчивость конкретного судьи, а не один удачный шаблон промпта.

Источник: Can we trust LLMs to judge whether a research idea is novel?.