14 ядер на git.kernel.org крутят HTML для скрейперов — больше, чем clone

На официальном Git-репозитории ядра Linux Konstantin Ryabitsev описал постоянный «фоновый шум» краулеров: отдача коммитов в HTML для скрейперов съедает больше CPU, чем все остальные легальные запросы — включая git clone.

В любой момент на пяти географически распределённых нодах 14 ядер заняты только этим рендером. Simon Willison в заметке от 7 сентября 2026 переносит картину на Datasette — проект, где публично открыто огромное число страниц для обхода ботами.

Цифры с git.kernel.org

• на скрейперы уходит больше CPU, чем на clone, просмотр в браузере и весь остальной легальный трафик;
• 14 ядер на 5 нодах — только HTML под коммиты для ботов;
• нагрузка не разовыми пиками, а непрерывным потоком агрессивных краулеров.

Willison пишет, что его беспокоит масштаб обходимых URL: если git web или док-сайт открыт для индексации, инфраструктура платит за каждый запрос бота почти так же, как за живого разработчика.

Источник: Creepy crawlies.