Пять рычагов NVIDIA: каждый байт HBM в работе coding-агента

В AI-фабрике HBM , самый быстрый и самый дорогой слой памяти: байт на лишнюю копию весов, простаивающий KV-кеш или заново посчитанный префикс не превращается в токены. NVIDIA разложила пять связанных рычагов co-design , от 4-битного кеша до общего хранилища между нодами , вокруг вопроса не «сколько HBM у GPU», а сколько полезной работы даёт каждый байт. На бенче SemiAnalysis AgentX воспроизводят записанные сессии coding-агентов с паузами на вызовы инструментов и растущим контекстом. При тех же 288 ГБ HBM на GPU связка Vera Rubin NVL72 даёт до 30× пропускной способности на мегаватт относительно GB300 NVL72 , при 160 токенах в секунду на пользователя. На масштабе IDE та же механика: пока агент ждёт терминал или API, длинный префикс либо простаивает в памяти, либо слетает , и после паузы его считают заново. Пять рычагов NVFP4 , 4-битные веса и KV-кеш: объём модели примерно в 3,5× меньше FP16; кеш в NVFP4 экономит до 50% относительно FP8, на GPU остаётся больше места под контекст и батчи. Wide expert parallelism в TensorRT-LLM , эксперты MoE разнесены на восемь и более GPU, на каждом остаётся больше HBM под кеш. NVIDIA Dynamo , маршрутизация с учётом KV, раздельный prefill и decode, перенос блоков кеша между GPU, CPU и storage через NIXL. NVIDIA Vera CPU , до 1,5 ТБ LPDDR5X и связь с Rubin по NVLink-C2C 1,8 ТБ/с; неактивный кеш на время tool call можно временно убрать с GPU. NVIDIA CMX , уровень G3.5 на уровне pod для общего KV-кеша между нодами: BlueField-4 STX, Spectrum-X, DOCA Memos и интеграция с Dynamo. Отдельно в материале приводят vLLM и LMCache на DGX H100: подгрузка сохранённого KV вместо повторного prefill для Qwen3-32B с промптом 130K токенов сокращала time to first token , тот же принцип «не пересчитывать префикс», только на уровне inference-фабрики. Источник: Five Ways NVIDIA Co-Design Maximizes the Value of Every Byte in the AI Factory .