OpenAI: классификатор CSAM в API и гайд по модерации

16 ноября OpenAI выпустила классификатор изображений под CSAM: ищет визуальные признаки злоупотреблений, отдаёт скоринг, чтобы ревьюеры сначала смотрели самые рискованные кадры. Это первый широко доступный классификатор с отдельным сигналом на то, что материал мог быть сгенерирован ИИ. Обучение и оценку делали с NCMEC; доступ через OpenAI API бесплатно для верифицированных организаций — заявка через intake form.
На пользовательских загрузках команда сравнила новую модель с текущей защитой: на 48% меньше картинок уходит в ручную очередь, при этом явно опасных кадров ловится примерно столько же. Среди отфлаганных изображений доля реального насилия примерно вдвое выше — меньше шума для команд модерации.
Что показали ранние партнёры
- fal — на прод-ревью подтвердили 72% high-confidence флагов как novel CSAM.
- invideo AI — каждый четвёртый флаг привёл к бану.
- SafetyKit — на эротизированных детских рисунках и анимации детекция в 90% случаев.
Детали метрик и ограничений — в model card классификатора. Доступ к инструменту координируют через Tech Coalition и ROOST; OpenAI отдельно упоминает Thorn Safer и участие в программе Lantern для обмена сигналами между площадками.
Предупреждения в ChatGPT и гайд
В ChatGPT при попытках искать запрещённый контент появляются предупреждения: диалог снимают, доступ к чату ставят на паузу на 24 часа, при повторе — дольше, вплоть до закрытия аккаунта и передачи в органы. В тексте явно сказано, что вреден в том числе AI-сгенерированный материал с сексуализацией детей.
Параллельно опубликовали CSAM guidance — правила, репорты от пользователей, детекция, процессы ревью и эскалации; там же про safety identifiers, чтобы связать злоупотребления с аккаунтом и разгрузить модераторов. Гайд стыкуется с новым классификатором, Moderation API и консолью Coop от ROOST.
Для child-safety следователей тестируют отдельный инструмент: разбор длинных чат-логов, связи и таймлайны со ссылками на первоисточник — доступ по авторизации агентства.
Источник: Strengthening the fight against online child sexual abuse with new tools and support.