GPT-Red ломает агентов до релиза — GPT-5.6 Sol в 6 раз устойчивее к injection

Агент с браузером и тулами постоянно читает чужие данные — письма, страницы, файлы в репо. OpenAI обучила GPT-Red находить prompt injection в таких сценариях и вшила его в тренировку GPT-5.6 Sol ещё до релиза.

Модель работает как автоматический red-teamer: отправляет промпт, смотрит ответ и итерирует, пока не сорвёт задачу. Тренировка через self-play — атакующий получает награду за успешный срыв, защитники за устойчивость.

Где пряталась атака

В примере агент ищет интервью пользователей в Rockset. В метаданных файла из поиска спрятан маркер: отправить данные на внешний URL. GPT-5.1 выполнил web.post и залил внутреннее, GPT-5.6 Sol распознал подмену.

• На арене косвенных prompt injection GPT-Red нашёл уязвимость в 84% сценариев — у людей 13%.
• Против агента Vendy (вендинг в офисе OpenAI) модель добилась всех трёх целей: занизить цену, продать дорогой товар за $0.50, отменить чужой заказ.
• Codex CLI на GPT-5.4 mini: в 10 сценариях утечки GPT-Red эффективнее и экономнее по токенам, чем промптованный GPT-5.5.

Что вышло в GPT-5.6 Sol

Атаки GPT-Red пошли в обучение новой модели. На жёстком бенчмарке прямых инъекций провалов в 6 раз меньше, чем у лучшей прод-модели четырёхмесячной давности.

Класс атак Fake Chain-of-Thought давал до 95% успеха на GPT-5.1 — на GPT-5.6 Sol уже меньше 10%. Модель падает на 0,05% прямых инъекций GPT-Red; на косвенных бенчмарках для dev-tools и браузинга точность выше 97%.

GPT-Red остаётся внутренним инструментом и не публикуется — зато устойчивость переносится в релизы.

Источник: GPT-Red: Unlocking Self-Improvement for Robustness.