NVIDIA Cosmos-H-Dreams: симулятор хирургических роботов в реальном времени

Cosmos-H-Surgical-Simulator предсказывал, как будет выглядеть операционное поле по траектории робота, но тянул лишь около десяти кадров в секунду. NVIDIA выпустила Cosmos-H-Dreams — дистиллированную причинную модель на FlashDreams, которая на одной RTX PRO 6000 даёт порядка 160 кадров в секунду. Сценой в замкнутом цикле может управлять человек, обученная политика или контроллер Versius.

Как ускорили

Модель построена на Cosmos-Predict2.5-2B и обучена на Open-H-Embodiment. Релизный чекпоинт — шов на столе da Vinci Research Kit: действия двурукого робота мапятся в 44-мерное представление. Teacher смотрит вперёд по всей траектории, student получает начальный кадр и поток кинематики и авторегрессивно дорисовывает следующие блоки.

Чтобы не накапливать ошибки на длинных прогонах, горизонт обучения teacher рос от 12 до 72 кадров, а student прошёл дистилляцию с самопринуждением — учится на своих же сгенерированных контекстах при подсказках замороженного teacher. Генерация укладывается минимум в два шага денойзинга на латентный кадр.

Клиенты и ограничения

FlashDreams добавляет потоковый KV cache, CUDA Graph и компиляцию модели. Подключить можно браузер с клавиатурой и WebRTC, Meta Quest с WebXR или обученную хирургическую политику в цикле наблюдений и действий. Готовый чекпоинт заточен под dVRK, но NVIDIA выкладывает рецепт дообучения под свой embodiment.

Cosmos-H-Dreams — исследовательская платформа: не диагностика, не замена интраоперационной съёмке и не контроллер физического робота. Teacher обучали и на успешных демонстрациях, и на сбоях — падение иглы, промахи, неудачные узлы — чтобы симулятор отражал не только идеальные траектории.

Источник: NVIDIA Cosmos-H-Dreams: Bringing Real-Time Generative Simulation to Surgical Robotics.