Перейти к содержимому
Экосистема AI Vibe

Новости

SGLang-Neuron на Trainium: тот же API SGLang, инференс на чипах AWS

Редакция 13 ноября 2026 г.

Разработчик поднимает SGLang-сервер в контейнере на Trainium, а клиент шлёт запросы на знакомый endpoint chat completions.

SGLang-Neuron вышел в открытый доступ через AWS Deep Learning Container , совместная сборка RadixArk и Annapurna Labs. Amazon показала, как на чипах Trainium поднимать сервинг моделей и траектории для обучения с подкреплением через тот же workflow SGLang: тот же серверный интерфейс и те же generation API, что вы уже вызываете. Trainium подключают внешним плагином, без форка ядра: SGLang по-прежнему отдаёт API server, жизненный цикл запросов, RadixAttention и учёт prefix-cache. Плагин реализует модели, attention и graph runner под конкретное железо; установка регистрирует neuron-платформу через entry points. TorchNeuron видит чип как устройство PyTorch, граф компилируется через torch.compile с ядрами Neuron Kernel Interface. Переключение , переменная SGLANG_PLATFORM=neuron при старте сервера. Prefill и decode раздельно Есть PD disaggregation: prefill-сервер считает KV-cache промпта и передаёт его decode-серверу по NIXL через Elastic Fabric Adapter, decode дорисовывает оставшиеся токены. Планировщик и жизненный цикл запросов остаются штатными для SGLang , меняется только исполнение на Trainium и путь передачи кэша. Быстрый старт на Trainium3 Образ public.ecr.aws/neuron/pytorch-inference-sglang-neuron:v0.1.0-neuron-py314-sdk-2.33.0-ubuntu26.04 для EC2 на Trainium3. В примере запускают openai/gpt-oss-120b с --tp-size 8 и --ep-size 8 , контекст 10240, до 64 параллельных запросов, порт 30000. Ответ проверяют запросом на /v1/chat/completions , тот же OpenAI-совместимый эндпоинт. Поддерживаемые модели и валидированные конфиги , в getting started guide и документации репозитория SGLang-Neuron. Источник: Deploy frontier AI models on AWS Trainium with SGLang-Neuron .