TensorRT 11 тянет одну сеть на несколько GPU — проще serving в Dynamo-Triton

Редакция 22 сентября 2026 г.

Один pipeline inference generative-модели распределяется по нескольким GPU через TensorRT и сервер Dynamo-Triton.

Generative-модели по памяти и вычислениям всё чаще перерастают одну видеокарту. NVIDIA добавила в TensorRT multi-device inference: одна оптимизированная сеть выполняется сразу на нескольких GPU, обмен между ними идёт через распределённые collectives на NCCL, при этом сохраняются штатные оптимизации TensorRT при inference.

Полная поддержка режима начинается с TensorRT 11.0. В связке с Dynamo-Triton это про model serving без ручного дробления сети и обходных пайплайнов — одна сборка TensorRT тянет весь пул карт.

Источник: Simplifying Model Serving Across Multiple GPUs with NVIDIA TensorRT Multi-Device Integration in NVIDIA Dynamo-Triton.