Перейти к содержимому
Экосистема AI Vibe

Новости

StateBench: где ломается отслеживание состояния в длинном контексте

Редакция 3 ноября 2026 г.

Схема уровней StateBench и падение точности моделей по мере роста длины последовательности присвоений.

Ai2 выпустила StateBench — бенчмарк не про размер окна, а про то, держит ли модель цепочку изменений сущностей от начала длинного текста до конца. Это тот же класс задач, что следить за переменными в большом diff: одно пропущенное x = y — и финальный ответ уже неверный.

В материале сравнивают чтение кода и сюжет: «John gave Mary the knife» и более жёсткий вариант, когда предмет лежал в рюкзаке и путь владения длиннее. У трансформеров на таких цепочках есть известные теоретические пределы — отсюда интерес к гибридам вроде Gated DeltaNet с «бегущей» памятью.

Четыре уровня сложности

У всех четырёх уровней одна и та же длина последовательности присвоений — меняется только тип операции, чтобы сравнение было честным.

  • R-trivial — значение задаётся один раз (let x = 4).
  • Aperiodic — нужно последнее присвоение по значению (x = 4, потом x = 2).
  • Soluble — обновления от текущего состояния (x = x + 5).
  • General finite — присвоение по ссылке и перестановки (x = y, задача с пятью «стаканами», уровень S₅).

Где ломаются претрейны

Olmo 3 (transformer) и Olmo Hybrid (слои Gated DeltaNet), оба по 7 млрд параметров, учились на одних данных с контекстом до 64 000 токенов. R-trivial почти все проходят уверенно; на aperiodic точность падает с длиной входа; на general finite многие остаются на уровне случайного угадывания. Формат вопроса тоже решает: гибрид 275M на задачах в стиле RULER был почти на потолке, а на тех же задачах как «правки таблицы» — около шанса.

Фронтир и обучение с нуля

Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol и GPT-6 Luna хорошо справляются с R-trivial и aperiodic, но на soluble и general finite при росте длины точность резко падает — на самых длинных general finite до 13% и ниже.

Модели 275M, обученные прямо на StateBench (до 256 присвоений в train, тест до 64 000 — в 250 раз длиннее), ведут себя иначе: Gated DeltaNet и гибриды почти идеально обобщаются на r-trivial, aperiodic и soluble на десятках тысяч шагов. Трансформеры осваивают более простые уровни, но general finite не учат даже при целенаправленном обучении; гибкий вариант Gated DeltaNet держится близко к идеалу примерно на длине в 10 раз больше максимума из train.

Релиз: tech report, данные на Hugging Face и код. Авторы отмечают пробел — новые сущности по ходу диалога пока вне рамок бенчмарка.

Источник: StateBench: Testing how language models track state changes over long documents.