Replit: как сделали подключения к Repl надёжнее

У Replit один из ключевых SLO — session success rate: каждый легитимный запрос должен успешно подключиться к целевому Repl. Сбои инфраструктуры случаются, и чтобы абстрагировать пользователя от них, между клиентом и удалённой VM с Conman (контейнер-менеджером) стоит reverse WebSocket proxy.

Прокси живёт на протяжении всей сессии, пересылает данные туда-обратно и может делать retry при сбоях при установке соединения с Conman. Бэкенд шардирован по регионам — для масштаба и чтобы не тащить латентность и egress между регионами.

Проблема была в том, что Conman выполнял две роли: и контейнер-менеджер, и reverse WebSocket proxy. Такое совмещение создавало уязвимости в архитектуре. В блоге Replit рассказывают, как они это переосмыслили и улучшили.

Источник: More Reliable Connections to Your Repls