Не целый GPU на каждый AI-сервис: NVIDIA про шаринг в Kubernetes

Большинству AI-нагрузок хватает доли памяти на одной карте, а выделение целого GPU на каждый сервис оставляет в кластере простаивающую ёмкость. В связке Kubernetes и CUDA 13.4 NVIDIA описывает memory-enforced sharing — совместное использование устройств в оркестраторе с жёстким контролем памяти, чтобы платформенная команда обслуживала больше моделей на том же железе.

У карт NVIDIA для этого несколько линий. Одна из них — Multi-instance GPU (MIG): чип режут на аппаратно изолированные инстансы, и для приложения они выглядят как отдельные устройства, без переписывания кода из‑за «соседа» на той же плате. Остальные способы шаринга в материале сопоставляются с этим сценарием — когда важна плотность упаковки, а не целый ускоритель на один под.

Если вы поднимаете inference или batch-задачи в Kubernetes и упираетесь в квоту «одна карта на сервис», смысл как раз в том, чтобы не докупать серверы, пока на узлах ещё есть незанятая память GPU.

Источник: Memory-Enforced GPU Sharing in Kubernetes with NVIDIA CUDA 13.4.