Слабый GPU в кластере: зелёные чеки и ползущее обучение

Один GPU, который тянет медленнее остальных, может затормозить весь распределённый прогон обучения — узел при этом проходит базовые проверки здоровья, а загрузка на мониторинге выглядит ровной. Застрявшую карту часто замечают только когда задача обучения уже идёт, а не при приёмке кластера.
Когда «готов» — ещё не «быстро»
Проблема может всплыть на любом этапе жизни GPU-кластера в Kubernetes: при передаче инфраструктуры проверки готовности зелёные, после замены нод или патча драйверов поведение снова разъезжается. NVIDIA связывает такие кейсы с эксплуатацией кластеров через DSX OS — типичный операционный риск на этапах настройки, сертификации и эксплуатации, а не единичный сбой одной платы.
Источник: Configure, Certify, and Operate Kubernetes GPU Clusters with NVIDIA DSX OS.