Exa прогнала оптимизацию Neuron через агентов: +50% пропускной способности

При бэкфилле 30 млрд приоритетных документов нагрузка на эмбеддинги в Exa на время удваивалась — команда Exa пересобрала inference под чипы AWS Inferentia2 и Trainium2. Итог относительно стартовой FP16-линии на одном NeuronCore: примерно в полтора раза больше документов в секунду и на 47 % дешевле миллион векторов.
Exa ведёт семантический веб-индекс: краулеры, парсинг, модерация и асинхронный эмбеддинг перед выдачей из собственной векторной БД. Multi-tower модель кладёт страницы и запросы в одно пространство — любая копейка на документ при десятках и сотнях миллиардов записей раздувает бюджет всего пайплайна.
Что дали отдельные шаги
- раскладка весов без лишних transposes под планировщик модели;
- autocast: матмулы в меньшей точности при пороге 0,999 косинусной близости к эталону;
- готовое attention-ядро из Neuron Kernel Interface;
- кастомный fused SwiGLU MLP с weight-stationary раскладкой — меньше spill из HBM;
- внимание под точные размеры голов модели вместо универсального ядра с padding.
Стартовали с data-parallel FP16 на одном NeuronCore в подах Kubernetes на inf2.xlarge; тот же код масштабировали data parallelism на Trainium2. Когда оба ядра на чипе конкурировали за память, профили Neuron Explorer показали: узкое место не только в Tensor Engine, но и в round-trip в HBM.
Агенты вместо ручного перебора
На Flyte завели трёхчастный harness: агент компилирует NEFF, гоняет forward pass по базовому датасету с тем же порогом 0,999, снимает профиль одного прохода и 30-минутный saturation-бенчмарк на железе. Дешёвые модели крутят сетку параметров компилятора; рассуждающие агенты ищут узкие места; сильные генераторы кода пишут кастомные NKI-ядра. Отдельные skills под Neuron подстраховали синтаксис, когда модели отставали от свежего SDK.
Тот же цикл перенесли на Trainium2, а планировщик в Kubernetes разводит embedding-поды по регионам и типам инстансов по цене за доллар производительности — чтобы не сидеть только в us-west-2 и не ловить нехватку ёмкости при пиках краула.
Источник: Exa boosts embedding throughput by 50% to index billions of documents on AWS AI chips.