Перейти к содержимому
Экосистема AI Vibe

Новости

Длинный контекст в агентах упирается в индексер, а не в само внимание

Редакция 17 ноября 2026 г.

Длинный контекст в LLM проходит через индексер и Top-k, прежде чем разреженное attention обрабатывает выбранные токены на GPU.

Агентные сценарии, длинные документы и большие кодовые базы раздувают контекст с десятков тысяч до сотен тысяч токенов. На таких длинах внимание становится самой дорогой частью слоя трансформера: в плотном режиме каждый запрос сравнивается с каждым ключом, стоимость на запрос растёт с длиной N, и NVIDIA собрала гайд по совместной проработке разреженного внимания под длинный контекст в инференсе.

На 128 тысячах токенов именно этот prefill в плотном attention может съесть большую часть времени заполнения слоя. Для сессии с целым репозиторием или толстым документом узкое место проявляется не в лимите окна, а в пересчёте внимания при заполнении промпта.

Источник: Co-Designing Sparse Attention for Efficient Long-Context Inference.