Cosmos3-H-Dreams: интерактивная генеративная симуляция с рецептом дообучения

После настольных сценариев на dVRK Cosmos-H-Dreams перешёл к клинической сложности: Cosmos3-H-Dreams учится на синхронном видео и кинематике робота Versius во время холецистэктомии и в реальном времени рисует ответ сцены на команды манипуляторов. NVIDIA называет это первым генеративным симулятором такого класса на клинических записях с живым кинематическим управлением; интерактивный прогон — на одной RTX PRO 6000 через FlashDreams.

Основа — Cosmos3-H-Embodied-Nano на 16 миллиардов параметров с предобучением на Open-H-Embodiment. Под операцию дообучают двунаправленный teacher: в кадре два инструмента (левый Cadiere grasper и правый monopolar hook), 28 измерений действий — позы и grippers обеих рук, энергия, оси «джойстика». Обучающее видео 832×480, действия на 10 Hz — отдельно от скорости генерации в рантайме.

От teacher к быстрому student

Сначала teacher смотрит на 24 будущих кадра, потом горизонт растягивают до 72 (7,2 секунды при 10 Hz). Дистилляция превращает его в причинный student, который отдаёт видео блоками по мере прихода действий; дальше идёт Self-Forcing на собственном сгенерированном контексте с критиком и teacher, чтобы ошибки не накапливались в длинном интерактиве.

• чекпоинт на четыре шага деноising на блок — баланс качества и скорости;
• отдельно обученный two-step student — быстрее, картинка слабее;
• FadeMem вместе с FlashDreams сжимает растущий key/value cache на длинных rollout.

Демо и свой датасет

В роликах с VR-траекториями один стартовый кадр и разные последовательности команд — проверка, что инструменты слушают управление и анатомия не «плывёт». В открытом доступе чекпоинты под холецистэктомию (four-step и two-step), код, модели на Hugging Face и пошаговый гайд: подготовка данных, дообучение teacher и стадии Self-Forcing distillation. Свой контроллер должен повторять те же соглашения по действиям и нормализации, что и при обучении.

NVIDIA прямо помечает релиз как исследовательский симулятор, не валидированную клиническую систему. В планах — связка с численной симуляцией и обучение автономных политик в замкнутом цикле с world action models.

Источник: NVIDIA Cosmos3-H-Dreams: Bringing Clinical Surgery to Life Through Generative Simulation.