AI-фабрики NVIDIA: один контур на сотни тысяч GPU и недельные прогоны

В AI-фабриках NVIDIA сходятся сотни тысяч GPU, фабрики Ethernet Spectrum-X, связки NVLink, распределённые планировщики и многонедельные прогоны обучения — как один производственный контур в непрерывной синхронизации, а не набор разрозненных кластеров.

Spectrum-X закрывает горизонтальное масштабирование между узлами — scale-out, scale-across и scale-in; NVLink — scale-up внутри узла. Разные команды владеют своими слоями, но снаружи стек работает как единая система на длинных прогонах.

Для распределённого обучения это не декорация: многонедельный цикл живёт в одной связке с сетью и планировщиком — рассинхрон бьёт по всему прогону, а не по одной машине.

Источник: How NVIDIA Minerva Turns Telemetry Chaos Into Peak GPU Yield.