Replit ускорил запуск сессий: ошибки с 3% до 0,5%

Replit работает на preemptible VM — машины могут выключиться в любой момент, поэтому переподключение к repl должно быть быстрым. Долгое время пользователи сталкивались с зависанием при подключении. После профилирования и разбора исходников Docker команда нашла и устранила причину: медленное завершение контейнеров.

Метрики улучшились заметно: доля ошибок подключения упала с 3% до менее 0,5%, а 99-й перцентиль времени запуска сессии — с двух минут до 15 секунд. Медленный shutdown контейнеров затрагивал почти всех и мог блокировать доступ к repl до минуты.

Архитектура Replit: при открытии repl браузер устанавливает websocket-соединение с Docker-контейнером на preemptible VM. На каждой VM работает conman (container manager), который гарантирует ровно один контейнер на repl — это нужно для мультиплеера, чтобы все участники подключались к одному окружению.

Источник: Killing Containers at Scale