NVIDIA Cosmos 3: четыре открытых чекпоинта для симуляции миров

Семейство Cosmos 3 пополнилось четырьмя открытыми чекпоинтами для интерактивной симуляции , от многокамерной синтетики под автовождение до следующего кадра по действиям двурукого робота. Все четыре модели , post-trained варианты Cosmos 3 Nano с 16 миллиардами обучаемых параметров; веса под лицензией OpenMDW 1.1 лежат на Hugging Face, материал датирован 5 ноября 2026 года. Четыре чекпоинта Cosmos3-Nano-Transfer-Auto , офлайн-синтетика для езды: до 11 камер, включая fisheye, совместная генерация RGB и LiDAR, управление через World Scenario Map и текст. Cosmos3-Nano-Sim-Auto , потоковый вариант Transfer-Auto после distillation: короткие куски видео и LiDAR за несколько шагов denoising, история и WSM-контролы для длинных интерактивных прогонов. Cosmos3-Nano-Sim-Transfer , симулятор отдаёт depth, segmentation, edges или blur, модель рисует RGB под промпт; физика и ground truth остаются в симе. Cosmos3-Nano-Sim-Bimanual , предсказание кадра от действий робота или камеры; в примере 59 значений управления, при обучении паддинг до 64. Open skill и пост-тренинг К каждому чекпоинту приложены open skill и ноутбук , inference по готовой инструкции, если coding agent уже ходит по репозиторию, а не построчное копирование ноутбука. Для Sim-Bimanual в требованиях Linux, GPU NVIDIA, Docker и NVIDIA Container Toolkit; связку vLLM-Omni в отчёте гоняли на GB200, это не минимум по памяти. Свой sensor rig обычно начинают с post-train Transfer-Auto на driving-данных, потом causal training и distillation в Sim-Auto для быстрого streaming. Sim-Transfer и Sim-Bimanual , свои stage-конфиги, resume и экспорт inference-весов без optimizer state. Короткий прогон проверяет пайплайн, не сходимость; качество смотрят на held-out эпизодах. Источник: New NVIDIA Cosmos 3 Open Models for Interactive World Simulation .