StateBench: где ломается отслеживание состояния в длинном контексте

Ai2 выпустила StateBench — бенчмарк не про размер окна, а про то, держит ли модель цепочку изменений сущностей от начала длинного текста до конца. Это тот же класс задач, что следить за переменными в большом diff: одно пропущенное x = y — и финальный ответ уже неверный.
В материале сравнивают чтение кода и сюжет: «John gave Mary the knife» и более жёсткий вариант, когда предмет лежал в рюкзаке и путь владения длиннее. У трансформеров на таких цепочках есть известные теоретические пределы — отсюда интерес к гибридам вроде Gated DeltaNet с «бегущей» памятью.
Четыре уровня сложности
У всех четырёх уровней одна и та же длина последовательности присвоений — меняется только тип операции, чтобы сравнение было честным.
- R-trivial — значение задаётся один раз (
let x = 4). - Aperiodic — нужно последнее присвоение по значению (
x = 4, потомx = 2). - Soluble — обновления от текущего состояния (
x = x + 5). - General finite — присвоение по ссылке и перестановки (
x = y, задача с пятью «стаканами», уровень S₅).
Где ломаются претрейны
Olmo 3 (transformer) и Olmo Hybrid (слои Gated DeltaNet), оба по 7 млрд параметров, учились на одних данных с контекстом до 64 000 токенов. R-trivial почти все проходят уверенно; на aperiodic точность падает с длиной входа; на general finite многие остаются на уровне случайного угадывания. Формат вопроса тоже решает: гибрид 275M на задачах в стиле RULER был почти на потолке, а на тех же задачах как «правки таблицы» — около шанса.
Фронтир и обучение с нуля
Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol и GPT-6 Luna хорошо справляются с R-trivial и aperiodic, но на soluble и general finite при росте длины точность резко падает — на самых длинных general finite до 13% и ниже.
Модели 275M, обученные прямо на StateBench (до 256 присвоений в train, тест до 64 000 — в 250 раз длиннее), ведут себя иначе: Gated DeltaNet и гибриды почти идеально обобщаются на r-trivial, aperiodic и soluble на десятках тысяч шагов. Трансформеры осваивают более простые уровни, но general finite не учат даже при целенаправленном обучении; гибкий вариант Gated DeltaNet держится близко к идеалу примерно на длине в 10 раз больше максимума из train.
Релиз: tech report, данные на Hugging Face и код. Авторы отмечают пробел — новые сущности по ходу диалога пока вне рамок бенчмарка.
Источник: StateBench: Testing how language models track state changes over long documents.