AssemblyAI: 70% на GPU-инференсе — Spot, очередь и диверсификация

AssemblyAI на AWS снизила счёт за GPU-инференс speech-to-text на 70% по сравнению с чистым On-Demand — при росте вычислительной нагрузки почти в 4 раза год к году. Вместо флота только по полному тарифу платформа смешивает Spot и On-Demand через ECS capacity providers и не жертвует SLA за счёт очереди, а не запаса железа «про запас».
Запрос попадает в Amazon SQS, GPU-таски в ECS тянут аудио из S3, прогоняют пайплайн acoustic и language моделей и отдают результат. На одной видеокарте — одна inference-модель; типичная джоба — от 15 секунд до нескольких минут, в зависимости от длины файла.
Как уложили экономику
- On-Demand capacity provider держит базу, Spot — пики спроса.
- Spot растянут по семействам g4dn (T4), g5 (A10G), g6 (L4) и размерам вроде g4dn.xlarge и g5.4xlarge — больше пул ёмкости, меньше давление на одно семейство.
- Незавершённая работа возвращается в SQS, если Spot отзывают с двухминутным предупреждением и джоба не успевает.
- Отдельные кластеры в us-west-2 и eu-west-2 — под data residency для healthcare, finance и legal.
При отзыве Spot Amazon EventBridge вызывает Lambda Spot Interruption Handler: сообщение снова в основной очереди, другой ECS-таск дожимает инференс — часто на другом типе инстанса или в другой Availability Zone. Кастомные AMI с артефактами модели и контейнером поднимаются примерно за 2 минуты, чтобы сократить простой. CloudWatch следит за флотом и прерываниями; исчерпанные ретраи уезжают в Dead Letter Queue.
AssemblyAI продаёт через AWS Marketplace API транскрипции, speaker detection, sentiment, chapter detection и PII redaction. В посте AWS тот же каркас подают как образец для batch или near-real-time GPU-нагрузок с короткими, независимо повторяемыми задачами.
Источник: Cost-optimizing AssemblyAI speech-to-text inference on AWS with Amazon EC2 Spot.