Перейти к содержимому
Экосистема AI Vibe

Новости

OpenAI: классификатор CSAM в API и гайд по модерации

Редакция 16 ноября 2026 г.

Команда разработки сверяет очередь модерации изображений с API-классификатором CSAM и чеклистом safety для пользовательского контента.

16 ноября OpenAI выпустила классификатор изображений под CSAM: ищет визуальные признаки злоупотреблений, отдаёт скоринг, чтобы ревьюеры сначала смотрели самые рискованные кадры. Это первый широко доступный классификатор с отдельным сигналом на то, что материал мог быть сгенерирован ИИ. Обучение и оценку делали с NCMEC; доступ через OpenAI API бесплатно для верифицированных организаций — заявка через intake form.

На пользовательских загрузках команда сравнила новую модель с текущей защитой: на 48% меньше картинок уходит в ручную очередь, при этом явно опасных кадров ловится примерно столько же. Среди отфлаганных изображений доля реального насилия примерно вдвое выше — меньше шума для команд модерации.

Что показали ранние партнёры

  • fal — на прод-ревью подтвердили 72% high-confidence флагов как novel CSAM.
  • invideo AI — каждый четвёртый флаг привёл к бану.
  • SafetyKit — на эротизированных детских рисунках и анимации детекция в 90% случаев.

Детали метрик и ограничений — в model card классификатора. Доступ к инструменту координируют через Tech Coalition и ROOST; OpenAI отдельно упоминает Thorn Safer и участие в программе Lantern для обмена сигналами между площадками.

Предупреждения в ChatGPT и гайд

В ChatGPT при попытках искать запрещённый контент появляются предупреждения: диалог снимают, доступ к чату ставят на паузу на 24 часа, при повторе — дольше, вплоть до закрытия аккаунта и передачи в органы. В тексте явно сказано, что вреден в том числе AI-сгенерированный материал с сексуализацией детей.

Параллельно опубликовали CSAM guidance — правила, репорты от пользователей, детекция, процессы ревью и эскалации; там же про safety identifiers, чтобы связать злоупотребления с аккаунтом и разгрузить модераторов. Гайд стыкуется с новым классификатором, Moderation API и консолью Coop от ROOST.

Для child-safety следователей тестируют отдельный инструмент: разбор длинных чат-логов, связи и таймлайны со ссылками на первоисточник — доступ по авторизации агентства.

Источник: Strengthening the fight against online child sexual abuse with new tools and support.