Из провалов агента в датасет: пайплайн AutoSynthData от ServiceNow

Один срыв агента в корпоративной среде почти не учит модель , нужны десятки разных сценариев с проверкой, что финал действительно верный. ServiceNow CoreAI показала AutoSynthData: целевую модель и более сильного «учителя» гоняют в одной среде, из разницы в прогонах собирают новые задачи и принимают только те, что проходят исполнение в окружении. Иллюстрация , EnterpriseOps Gym (Malay et al., 2026) и связанный открытый датасет; материал датирован 2 октября 2026 года. Что входит в одну задачу Каждый пример задаётся тройкой: системная спецификация, пользовательский запрос и verifier , механизм, который решает, выполнена ли работа. Для обучения задача должна быть выполнимой в среде, похожей на реальный запрос и достаточно сложной: то, что агент уже стабильно закрывает, почти не даёт сигнала. От диагностики к датасету На eval сравнивают, где ломается целевая модель и как доходит учитель; выводы упаковывают в карточки способностей без исходных промптов прогонов , генератор варьирует сущности, состояние и формулировки, но держится того же навыка. Target , параллельно собирают ядро: validation, execution, solver evaluation и repair до принятия. Multiply , варианты от принятых образцов со своим запросом, состоянием и verifier; умноженный образец не запускает следующий multiply. На сложности смотрят через solver evaluation: целевая модель должна решить задачу не более чем в 1 из 3 попыток, сильный solver , минимум в 2 из 3. Эталонную траекторию прогоняют через verifier (positive gate); для negative gate намеренно портят ожидаемый результат, чтобы отсечь слишком мягкие критерии. Провалы идут в critic с ограниченным repair, затем снова через проверки; meta-review на уровне батча балансирует покрытие способностей. Источник: AutoSynthData: Generating Training Data for Enterprise Agents .