Продовый трафик в fine-tune: Data Capture на SageMaker HyperPod

Редакция 13 ноября 2026 г.

Схема кластера HyperPod: инференс с sidecar пишет диалоги в S3, Athena и дообучение на втором GPU замыкают цикл улучшения модели.

SageMaker HyperPod умеет писать живые запросы и ответы инференса в S3 — AWS показала полный цикл на одном кластере: запись, разбор в Athena, разметка, дообучение на втором GPU и повторный деплой, пока захват не выключают. В примере роутер саппорта бытовой техники; база — Qwen2.5-3B-Instruct, его дообучают примерно за минуту на одной NVIDIA L40S на 48 ГБ.

Продовой трафик часто расходится с обучающей выборкой: новые линейки, сленг, странные форматы. Без следа инференса дрейф и провалы всплывают поздно. В walkthrough включали только Tier 3 на поде модели: каждый проход через прокси NGINX копируется в OpenTelemetry, уходит батчами в S3 через sidecar, и те же файлы читает Athena.

Три уровня захвата

Endpoint SageMaker (Tier 1): полные тела запросов и ответов — compliance и Model Monitor.
Балансировщик (Tier 2): access-log ALB без тяжёлых payload — дешёвый мониторинг трафика и ошибок.
Под модели (Tier 3): полные входы и выходы плюс метаданные — отладка и будущая обучающая выборка.

Уровни 1 и 3 вместе дублируют каждую запись. Под с захватом поднимает четыре контейнера: модель, sidecar-reverse-proxy, otel-collector, s3-uploader. Модель слушает порт 8000 — туда трафик прокси не пишет; для захвата идут через 8081.

Пять шагов маховика

запись запросов и ответов в префикс capture/ (в примере сэмплирование 100%, сброс буфера раз в 60 секунд);
Athena ищет «слепые зоны», например новый продукт в диалогах;
SQL-политика размечает записи;
training operator гоняет HyperPodPyTorchJob на ml.g6e.xlarge, пока сервинг на ml.g6e.8xlarge держит свою карту;
второй endpoint с тем же блоком dataCapture.modelPod.enabled: true.

Нужны два свободных GPU: пока endpoint занимает одну видеокарту на всё время жизни, job на одном GPU остаётся в Pending. В репозитории к посту — синтетические данные, манифесты и SQL; тела в захвате — в base64, перед разметкой имеет смысл KMS, сэмплирование и вычищение персональных данных.

Источник: Build a model improvement flywheel with Amazon SageMaker HyperPod Data Capture.