Nova до продакшена модерации: LoRA, промпт и проверка человеком

На своей таксономии модерации uniopen базовая Amazon Nova 2 Lite не проходила продакшен — обе метрики заметно ниже порогов 0,8500 и 0,8200. Команда собрала дообучение с LoRA в SageMaker AI и добрала остаток правкой промпта, без второго прогона обучения.

На старте Per Behavior Macro F1 был 0,5852, Subject Type Macro F1 — 0,4162; после LoRA и упрощения формата ответа обе оси перевалили за целевые значения.

Модерация у uniopen — матрица «что сделали × про кого»: девять категорий поведения и тип субъекта (бренд, другое, запрещённое). Обе оси должны совпасть, иначе решение бесполезно. На 3391 окне диалога учили модель, на отложенных 737 окнах сравнивали baseline, дообученный вариант и конфигурацию после правки промпта.

Где прибавили качество

Macro F1 по поведению считает все девять классов поровну — сильные не прикрывают слабые; по типу субъекта — то же для бренда, «другое» и «запрещённое». LoRA дала главный скачок: 0,8364 по поведению и 0,8302 по субъектам. Затем ответ упростили с JSON на построчный формат и уточнили, как отдавать несколько меток — только промпт, без новых весов. Итог: 0,8550 и 0,8491, обе метрики выше порогов релиза.

Контур перед выкладкой

Пользователь сообщает об ошибке — Nova 2 Pro предлагает кандидата метки, в S3 попадает только пример, проверенный ревьюером. Argo Workflows на EKS прогоняет оценку кандидата; обязательные hard gates при регрессии останавливают выкладку и шлют алерт через SNS и CloudWatch, soft gates оставляют кандидата на согласовании администратора. DynamoDB хранит активные и кандидатные конфигурации; Bedrock Guardrails и фиксированные тестовые наборы не дают улучшению по одной оси спрятать просадку по другой.

Источник: How uniopen customized Amazon Nova to their retail moderation policies for production deployment.