Перейти к содержимому
Экосистема AI Vibe

Новости

SageMaker Inference нарезает GPU через MIG без своего кластера

Редакция 6 ноября 2026 г.

Несколько изолированных слотов инференса LLM на одной серверной GPU в облачном SageMaker.

В SageMaker Inference для управляемых GPU-эндпоинтов AWS добавила аппаратную нарезку ускорителя через NVIDIA Multi-Instance GPU: у секции свои вычислители и память, разделение в железе. Раньше минимальной единицей был целый GPU — на машине вроде ml.p4d.24xlarge с восьмью A100 помещалось не больше восьми моделей, и каждая занимала карту целиком, даже когда по объёму памяти хватило бы доли.

Для сервинга это про предсказуемость: у партиции отдельная полоса пропускной способности памяти, всплеск одной модели слабее бьёт по чужому p99; сбой в одной секции не валит соседей; маленькие и средние модели садятся на «ломтик», а не на целый чип — без холодной подгрузки в духе общего multi-model endpoint. Максимум секций на GPU зависит от чипа и не больше семи; схему деления фиксируют при создании эндпоинта, без своего Kubernetes-слоя поверх драйверов и плагинов.

Два поля в знакомых вызовах

В CreateEndpointConfig у production variant появилось необязательное AcceleratorPartitionLayouts — как резать каждый ускоритель на профили вроде mig-4g.20gb, mig-2g.10gb, mig-1g.5gb на A100. У inference component в ComputeResourceRequirements задают AcceleratorPartitionType, то есть на каком профиле крутится модель. Новых операций API и отдельных IAM-действий нет: конфиг без этих полей ведёт себя как раньше. В тестах AWS сама нарезка добавила около 17 секунд к провижингу поверх обычного старта инстанса и вытягивания образа.

Где работает и что учесть

  • Только эндпоинты на inference components; одиночные модели, serverless и гетерогенные пулы инстансов — нет.
  • Набор профилей зависит от семейства: P4d с A100, P5 с H100, у линеек G7/G7e — свои схемы и гранулярность.
  • Если модели нужно больше одного GPU, по-прежнему берут целые устройства.

На P4d профиль mig-1g.10gb требует драйвера NVIDIA R525+; образ по умолчанию с линией 470 может отказать в карвинге без явной ошибки — в материале советуют задать InferenceAmiVersion, например al2023-ami-sagemaker-inference-gpu-4-1, чтобы попасть на ветку 580.

Salesforce с самого начала помогала с требованиями и проверкой первой реализации; в цитате к релизу ждут консолидацию нагрузок, рост утилизации GPU и жёсткую изоляцию без целой карты на каждый сценарий.

Источник: SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints.