HyperPod подхватил NVIDIA Dynamo: inference под длинные агентные сессии

Когда промпт и выдача токенов делят одни GPU, длинные чаты упираются в память и в очередь: веса GLM-5.3 в FP8 уже не влезают в 640 ГБ одного ml.p5.48xlarge , и это до KV-кэша и overhead рантайма. SageMaker HyperPod Inference получил managed-надстройку с open-source NVIDIA Dynamo: multi-node serving, отдельные пулы под prefill и decode и KV-aware routing для vLLM, SGLang или TensorRT-LLM. Фронтенд Dynamo разводит запросы: prefill-воркеры обрабатывают промпт, decode , генерируют токены. Между пулами KV-кэш едет по Elastic Fabric Adapter; роутер смотрит на повторяемые префиксы и загрузку воркеров. Для agentic-трафика с высоким reuse префикса это снижает пересчёт промпта и ускоряет первый токен. Что ставит add-on HyperPod Inference Operator и InferenceEndpointConfig с секцией dynamoSpec оператор Dynamo для DynamoGraphDeployment Grove и KAI Scheduler , gang scheduling под multi-node воркеры Два входа: свой DynamoGraphDeployment из upstream-манифестов Dynamo или IEC с dynamoSpec , тот же OpenAI-совместимый SageMaker endpoint, веса с S3 или FSx; в managed-варианте TLS и autoscaling через KEDA. Цифры с бенчмарков AWS Qwen3-235B-A22B-FP8 на двух p5en.48xlarge (16 H200): при 4000 input и 200 output токенах disaggregated при P90 TTFT меньше секунды и медиане ≥ 50 tok/s на пользователя выдал до 207 output tok/s на GPU , у aggregated на том же SLA было 101, множитель 2,05× при concurrency 80 против 32. Qwen3.5-397B-A17B-FP8 на двух нодах при agentic-нагрузке с высоким reuse префикса (concurrency 32) удержал 99,1% throughput одной ноды , граница инстанса почти не режет картину, когда модель всё равно тянет tensor и pipeline parallelism на нескольких машинах. Перед прогоном на кластере взять recipe Dynamo под модель, движок и GPU; AISimulate сравнивает aggregated и disaggregated до теста на железе проверить EFA для передачи KV-кэша между prefill и decode прогнать репрезентативный трафик через AIPerf; для тюнинга , skills Dynamo optimization agent Источник: Managed NVIDIA Dynamo on Amazon SageMaker HyperPod Inference .