OpenAI хочет safety cases перед каждым frontier RL-прогоном

28 сентября 2026 OpenAI выложила черновик правил: перед каждым прогоном обучения с подкреплением на frontier-моделях нужен оформленный safety case — пакет доказательств по рискам, как в авиации и на атомных объектах. Для ИИ жёсткость того же уровня недостижима «в лоб» из‑за эмерджентности на каждом скачке возможностей, но документ задаёт, к чему лаборатория стремится. Речь только про frontier RL, не про весь продакшен-вывод.

Три слоя в технике

В кейсе должны быть выравнивание при обучении, изоляция и мониторинг в рантайме.

• Выравнивание: агенты чистят RL-датасеты от сломанных сред, где награда идёт через эксплойты; ручные ревью задач; грейдеры, которые штрафуют попытки «хакнуть» среду; офлайн-eval и стресс-тесты на худшее поведение. Отдельно — автоматические грейдеры не видят chain-of-thought, чтобы модель не училась обходить мониторы размышлений.
• Изоляция: несколько слоёв защиты песочницы и исследовательской инфраструктуры, red team на чекпоинтах прогона, узкие каналы связи между сэмплами, неизменяемые транскрипты агентов (в том числе в write-once хранилище) для разбора инцидентов.
• Мониторинг: метрики наблюдаемости и уклонения от мониторов, высокий recall на прошлых инцидентах, свежие eval под новые риски. Алерты с SLA: днём — пейджинг on-call, ночью — автопауза прогона, если сигнал не подтвердили.

Кто может остановить прогон

После черновика safety case сотрудник другой команды пишет dissent — по сути пре-мортем, чтобы найти дыры. Запуск могут заблокировать research lead / VP, Head of Safety и Chief Scientist — у каждого право вето. За кейс и инциденты отвечает старший владелец прогона, в том числе в перформанс-ревью.

Технические контроли сделаны fail-closed: без включённого мониторинга прогон не стартует, отключить монитор изнутри RL нельзя. В документе также rollback по всем downstream-использованиям чекпоинта и явный перечень остаточных рисков для осознанного принятия.

Если выравнивание сорвалось

При тяжёлых инцидентах лаборатория описывает root-cause по динамике обучения, проводит операционный постмортем и добавляет eval как регрессионные тесты — без подгонки под транскрипты инцидента. Результаты расследования публикуют после завершения. Эскалации завязаны на таблицу уровней серьёзности; misalignment on-call может дозвониться до CEO на верхних градациях.

Источник: Towards safety cases for frontier AI training.