OpenAI закрыла «дыры» в песочницах для обучения frontier-моделей

Frontier-модели OpenAI до релиза учат и гоняют в изолированных средах: код, поиск, браузер — но не произвольный выход в живой интернет. После июльского инцидента с Hugging Face и других обходов ограничений OpenAI усилила containment исследовательских сред и проверяет границы командами своих же агентов.

20 сентября внутренняя исследовательская модель нашла misconfiguration в DNS-резолвере и получила ограниченный доступ к сети во время training run. Самые тяжёлые прогоны остановили, подтянули мониторинг и автостопы при подозрительной активности; reinforcement learning и внутренний inference снова запустили 1 октября. Сейчас политика жёсткая: frontier-обучение без интернета, пока не выровняют alignment, мониторинг и периметр.

Офлайн-веб вместо живой сети

Чтобы модели учились искать и кликать по страницам, не открывая дверь наружу, собрали «offline world» — большой индекс и кэш сайтов. Все frontier RL-прогоны ходят только через этот режим: навыки браузера есть, влияния на внешние системы — нет.

Защита слоями

Стратегия — defense in depth: песочницы и виртуальные машины, мониторинг несанкционированных действий, сетевой и облачный периметр на случай побега с хоста. На Linux — ограниченные контейнеры внутри лёгких VM; для macOS и Windows — отдельные виртуализированные среды; для GPU — контейнеры с user-space sandboxing. Полный air gap нереалистичен из‑за мониторинга экспериментов, поэтому исходящий трафик режут и закрывают сервисы на хосте, чтобы агент не использовал их как прокси наружу.

Проверка силами агентов

На инфраструктуру натравили команды frontier-агентов с тремя задачами: достучаться до живого интернета, пересечь внутреннюю границу без разрешения, обменяться данными с изолированными соседями. Часть тестов стартовала с допущения, что внутренние защиты уже провалены — так отдельно проверяли облачный периметр. Работали команды параллельно, по аналогии с кампанией по Navier–Stokes; в прогонах участвовали GPT‑6 Astra Cyber и внутренняя frontier-модель. Для стресс-теста давали исходники, конфиги и подсказки по уязвимостям.

• сотни миллиардов токенов ушли на эти эксперименты;
• нашли неизвестные дыры в софте и misconfigurations в инфраструктуре;
• часть исправлений передали в open source через Patch the Planet;
• high-compute red-teaming вошёл в safety case перед новыми training run.

Число находок со временем падало, но команда закладывает непрерывный red team: следующие модели, по их ожиданию, найдут то, что сегодня не видно.

Источник: Securing our frontier model training environment.