ИИ смотрел в одну сторону: 99,97% detection rate и слепая зона, которую не видит отчёт

Соло-разработчик в ежедневном цикле с ИИ-ассистентами часто доверяет зелёным сигналам — авто-approve в security-дашборде, «безопасно» в отчёте агента, «benign» в логе — и без выборочной проверки пути чтения рискует получить ту же картину, что в седьмом выпуске Stratagems: красивая метрика в sandbox и систематический пропуск того, что реально ломает прод.

В художественном кейсе @xulingfeng разбирает вымышленный FortDefender: 99,97% detection rate подтверждалась тестами, но ML-мониторинг не увидел утечку MedTech и 47-секундный read-only запрос к production.

Почему 99,97% — не ложь и не защита

В седьмой части серии Stratagems безымянный пентестер P нанят CTO оценить FortDefender — вендор AI-мониторинга безопасности — без доступа к продакшену: только read-only логи, sandbox и публичная документация. На обложке квартального отчёта — «zero missed detections» и 99,97% detection rate. P цитирует ту же формулировку на дебрифе.

В sandbox FortDefender действительно детектировал все три раунда тестов P. Цифра относится к маркетинговому показателю продукта мониторинга, а не к accuracy отдельной ML-модели в узком смысле. Автор прямо пишет: «The 99.97% wasn't a lie — at least not inside the sandbox.»

Показатель detection rate в отчёте и реальная картина в production — разные плоскости. Высокий процент в контролируемой среде не отменяет слепых зон в runtime.

Слепые зоны ML-мониторинга: read-path и auto-approved

Сюжет строится вокруг того, что система «смотрела только в одну сторону». Утечка данных клиента MedTech в квартальном отчёте списана как «client-side issue» — «System found no anomalies». Среди 23 отфильтрованных аномальных записей — событие от 11 марта 2026: overseas IP, target — financial database MedTech, AI risk score 12, review status auto_approved, без человеческого ревью.

Read-only путь атаки ML оценил с threat weight ≈ 0: SELECT-запрос к production DB шёл 47 секунд — zero alerts. Composite risk score 4/100 при threshold 25, классификация BENIGN — «matches 41 prior auto-exclusions».

Модель обучена на 12 месяцах событий, включая пентесты. Паттерны «early morning + overseas» и «valid cert + low-risk path» попали в зону «pen test / benign». On-call закрыл повторный алерт за 15 секунд с пометкой «P's test again» — без разбора.

Из 4 781 строк, возвращённых read-only запросом, после фильтра осталось 23 аномальные; одна совпала с реальным breach MedTech.

SELECT timestamp, source_ip, event_type, risk_score
FROM security_log 
WHERE review_status IN ('auto_approved', 'low_priority')
  AND risk_score < 25

Такой фильтр в нарративе показывает, как auto-generated exclusion rules и низкий порог risk score выталкивают важные события за пределы внимания SOC — и, по аналогии, за пределы внимания разработчика, который смотрит только на «зелёные» статусы в ИИ-инструментах.

«Пугало» для SOC: две фазы одной стратагемы

Эпиграф поста — цитата из Thirty-Six Stratagems: «Show nothing, hold everything.» — приём Create Something Out of Nothing.

Фаза 1: поддельная атака с валидным internal cert детектируется, команда помечает «internal pen test, benign»; параллельно паттерн попадает в обучающую выборку ML как «exclude». Training log: valid internal cert, category Penetration Test, Model Decision: BENIGN → Exclusion Rule auto-generated, confidence 97,3%.

Фаза 2: повтор того же входного паттерна как прикрытие; реальный read-only SQL проходит в blind spot модели 47 секунд без алертов.

Бывший инженер rhuang в блоге описал auto-exclusion rules на ML; в changelog FortDefender — тег Apex-Lens v1.2.0. За 9 месяцев — 41 авто-обновление exclusion rules без отката и аудита после первичного sign-off. Backtest по словам rhuang покрыл 94% исторических false positives — остальные 6% названы «acceptable».

Финальная метафора: «A scarecrow once tricked an army… P's scarecrow tricked a team into typing 'Again. P's test. Closing.'» Привыкание команды к ложному паттерну — отдельный слой риска поверх самой модели.

Что переносится в соло-workflow с ИИ-ассистентами

Кейс оформлен как security fiction с пост-мортемом в code block — без чек-листов, промптов, настроек IDE или MCP; в P.S. @xulingfeng отмечает, что ИИ применялся только для polish английского текста, не для FortDefender.

Тем не менее пост-мортем P формулирует уроки, релевантные тем, кто один в цикле с агентами и автоматическими ревью:

• Алгоритмический bias: auto-generated exclusion rules без последующего human audit усиливают слепые зоны — как накопление «всё ок» в истории чата с агентом без spot-check критичных веток.
• Training data contamination: включение исторических пентестов в обучающую выборку учит систему исключать «своих» тестеров — параллель с тем, как агент «привыкает» к вашим же тестовым паттернам и перестаёт замечать отклонения.
• Threat model gap: фокус только на write-path при игнорировании read-path в runtime alerting — для разработчика это чтение чужих данных и side-effect-free запросы, которые не триггерят привычные алерты.
• Online learning risk: если модель дообучается на новых событиях, первая фаза «пугала» может ускорить появление новых exclusion rules.
• Methodological limitation: находки P основаны на публичных доках, блоге rhuang и sandbox — без reverse-engineering самой ML-модели.

FortDefender, MedTech, rhuang и Apex-Lens — вымышленные имена narrative fiction; кейс иллюстративный, не отчёт о реальном вендоре.

Для соло-разработчика вывод практичный: не заменяйте выборочную проверку read-path и краевых случаев доверием к одной метрике «всё детектировано». ИИ-сигнал без human audit в критичных зонах — та же односторонняя оптика, которую P описывает в дебрифе.

Источники

• @xulingfeng — «Stratagems #7: P Watched an AI That Only Looked One Way. The 99.97% Was Real. It Just Missed Everything That Mattered.» Dev.to, 7 июля 2026. Dev.to (доступ: 2026-07-07 UTC)
• Метрики площадки на момент сбора: 24 публичные реакции, 3 комментария; оценка времени чтения — 12 мин (API Dev.to).