Длинный контекст в агентах упирается в индексер, а не в само внимание

Агентные сценарии, длинные документы и большие кодовые базы раздувают контекст с десятков тысяч до сотен тысяч токенов. На таких длинах внимание становится самой дорогой частью слоя трансформера: в плотном режиме каждый запрос сравнивается с каждым ключом, стоимость на запрос растёт с длиной N, и NVIDIA собрала гайд по совместной проработке разреженного внимания под длинный контекст в инференсе.
На 128 тысячах токенов именно этот prefill в плотном attention может съесть большую часть времени заполнения слоя. Для сессии с целым репозиторием или толстым документом узкое место проявляется не в лимите окна, а в пересчёте внимания при заполнении промпта.
Источник: Co-Designing Sparse Attention for Efficient Long-Context Inference.