В TensorRT 11.1 Global Performance Tuner сам подбирает оптимизации под каждую модель

В TensorRT 11.1 появился Global Performance Tuner — автоматический подбор ускорения inference с учётом точности и сквозной настройкой внутри рантайма. NVIDIA продолжила серию из двух материалов: речь о том, как уйти от одного фиксированного маршрута сборки и настраивать разные оптимизации под разные модели.

Смысл фичи в том, что универсальный профиль сборки редко одинаково хорошо сочетает скорость и точность на всём зоопарке весов — тюнер как раз рассчитан на такой разброс. В первой части серии авторы разбирали проблемы этапа scheduling в пайплайне deep learning: от него зависит, как на GPU планируются вычисления, и это напрямую бьёт по итоговой производительности.

Вторая часть смещает акцент с ручного перебора конфигураций на автоматический accuracy-aware тюнинг end-to-end внутри TensorRT — то есть оптимизация идёт в рамках самого рантайма, а не только на этапе одноразового билда.

Источник: Scaling NVIDIA TensorRT Performance Optimization Beyond a Single Build Route with the Global Performance Tuner, Part 2.