Replit построил свой load balancer: почему GCLB не справился с гео-маршрутизацией

Replit продолжает серию постов про Worldwide Repls: после рефакторинга control plane команда взялась за первый компонент поверх него — собственный load balancer.

Вся инфраструктура платформы крутится в Google Cloud, и GCLB (Google Cloud Load Balancer) долго устраивал: SSL, гео-маршрутизация, автомасштабирование, поддержка «тяжёлых» запросов. Но при запуске не-US регионов выяснилось несоответствие: контейнеры создавались не там, где пользователь, а там, где была свободная мощность. В итоге пользователь из Индии мог получить контейнер в США — и каждый пакет летал через полземли. Проблема затронула даже часть пользователей в Штатах, пришлось откатить изменения.

Стало ясно: нужен промежуточный слой, который сам решает, где создавать контейнеры. На этом и строится новый load balancer.

Источник: Worldwide Repls, part 2: Load balancing for fun (although not quite profit)