GLM-5.3 на домашнем кластере: vLLM режет веса по двум DGX

Самые крупные модели для локального инференса уже не помещаются в память одной машины: все веса должны оставаться в видеопамяти, и на одном узле потолок упирается в железо. NVIDIA показала, как два DGX Station связать по ConnectX-8 RDMA и отдавать GLM-5.3 NVFP4 одним endpoint vLLM , клиенту не нужно разбираться с двумя отдельными сервисами. GLM-5.3 NVFP4 , квантованная сборка модели Z.ai. vLLM делит веса и вычисления между GPU на обеих станциях через tensor parallelism: снаружи один inference-сервер, внутри матрицы распределены по узлам. Быстрый RDMA между коробками нужен, чтобы обмен при нарезке не тормозил сильнее самих операций на GPU. Что из этой схемы переносимо Один endpoint на нескольких узлах , проще подключать IDE, агентов и свой софт, чем балансировать два независимых API. Tensor parallelism в vLLM , обычный ответ, когда frontier-модель не влезает даже в одну очень мощную станцию. NVFP4 ужимает объём весов в памяти; без квантования та же архитектура чаще требует больше GPU или ещё более агрессивной нарезки. Это не сценарий «7B на ноутбуке», а порог, где локальный стек для кодинга и экспериментов упирается в топологию: второй узел и сеть становятся частью пайплайна наравне с выбором vLLM и формата весов. Источник: When One GPU Isn't Enough: Serving GLM-5.3 Across Two NVIDIA DGX Stations with vLLM .