Перейти к содержимому
Экосистема AI Vibe

Новости

Exa прогнала оптимизацию Neuron через агентов: +50% пропускной способности

Редакция 19 ноября 2026 г.

Инженеры и агенты подряд дожимают пайплайн эмбеддингов Exa на AWS Inferentia2 и Trainium2, пока миллиарды веб-документов текут в векторный индекс.

При бэкфилле 30 млрд приоритетных документов нагрузка на эмбеддинги в Exa на время удваивалась — команда Exa пересобрала inference под чипы AWS Inferentia2 и Trainium2. Итог относительно стартовой FP16-линии на одном NeuronCore: примерно в полтора раза больше документов в секунду и на 47 % дешевле миллион векторов.

Exa ведёт семантический веб-индекс: краулеры, парсинг, модерация и асинхронный эмбеддинг перед выдачей из собственной векторной БД. Multi-tower модель кладёт страницы и запросы в одно пространство — любая копейка на документ при десятках и сотнях миллиардов записей раздувает бюджет всего пайплайна.

Что дали отдельные шаги

  • раскладка весов без лишних transposes под планировщик модели;
  • autocast: матмулы в меньшей точности при пороге 0,999 косинусной близости к эталону;
  • готовое attention-ядро из Neuron Kernel Interface;
  • кастомный fused SwiGLU MLP с weight-stationary раскладкой — меньше spill из HBM;
  • внимание под точные размеры голов модели вместо универсального ядра с padding.

Стартовали с data-parallel FP16 на одном NeuronCore в подах Kubernetes на inf2.xlarge; тот же код масштабировали data parallelism на Trainium2. Когда оба ядра на чипе конкурировали за память, профили Neuron Explorer показали: узкое место не только в Tensor Engine, но и в round-trip в HBM.

Агенты вместо ручного перебора

На Flyte завели трёхчастный harness: агент компилирует NEFF, гоняет forward pass по базовому датасету с тем же порогом 0,999, снимает профиль одного прохода и 30-минутный saturation-бенчмарк на железе. Дешёвые модели крутят сетку параметров компилятора; рассуждающие агенты ищут узкие места; сильные генераторы кода пишут кастомные NKI-ядра. Отдельные skills под Neuron подстраховали синтаксис, когда модели отставали от свежего SDK.

Тот же цикл перенесли на Trainium2, а планировщик в Kubernetes разводит embedding-поды по регионам и типам инстансов по цене за доллар производительности — чтобы не сидеть только в us-west-2 и не ловить нехватку ёмкости при пиках краула.

Источник: Exa boosts embedding throughput by 50% to index billions of documents on AWS AI chips.