14 000 облачных аккаунтов: BMW автоматизировала ловлю аномалий в счёте

У BMW Group больше 14 000 облачных аккаунтов, и единый порог «если траты выше N долларов» на таком масштабе не держится: крупные аккаунты заглушают мелкие, а плановый рост выглядит как норма. FinOps-система CLEA сверяет каждый день вчерашний факт с прогнозом отдельно для каждой пары аккаунт и сервис — не только когда кто-то заглянул в дашборд Amazon Quick Sight.

Биллинг идёт из AWS Cost and Usage Reports и других провайдеров. Сырые выгрузки — около 3 млрд строк в месяц — агрегируются до суточной стоимости на аккаунт и сервис; анализ с лагом T-1, после того как CUR за вчера полностью доставлен. Прогноз строит Prophet на 365 днях дневной истории с аддитивной сезонностью; движок сменяемый — на входе и выходе фиксированные форматы, слои детекции и алертов не трогают.

Оркестрация — AWS Step Functions в режиме Distributed Map: до 500 параллельных Lambda, полный прогон ~14 000 аккаунтов занимает около 20 минут. Compute обходится примерно в 50 долларов в месяц — меньше полцента на аккаунт.

Как отличают всплеск от шума

Expected spend — прогноз на день, impact — факт минус прогноз. День помечают аномалией, если факт выходит за доверительный интервал Prophet; так отсекается обычная дневная болтанка. Модель подстраивается под тренд: ступенчатый рост несколько дней подсвечивается, потом становится новой нормой — сильнее всего ловятся резкие спайки.

Фильтры перед письмом

• Не считают сервисы с средним spend ниже 0,10 доллара за 3 дня и историей короче 10 дней.
• Отклонение от прогноза — не меньше 40%; для AWS Glue, Amazon Athena и EC2 — 60% из‑за волатильности.
• Четыре кластера по среднему spend за 3 месяца задают минимальный impact: от 300 до более 1000 долларов.
• Для команд из списка пониженной чувствительности пороги умножают на три.

Отдельный alert engine убирает дубликаты; письмо уходит, если аномалия началась в последние четыре дня или ещё идёт. В письме — account ID, сервис, даты, прогноз и факт, impact в долларах и процентах, Excel с детализацией. В Quick Sight владелец копает operation и usage type — в разборе прошлых кейсов эти два измерения закрывали большинство причин всплеска.

Источник: How BMW Group detects cost anomalies across 14,000 cloud accounts.