Isaac Lab 3.0 без Omniverse: NVIDIA разложила симуляторы для physical AI

Isaac Lab 3.0 отвязали от Omniverse: фреймворк стал легковесным, с выбором бэкенда — PhysX и RTX для сценариев с камерами и лидаром или headless Newton, когда важнее пропускная способность. NVIDIA разложила, какой симулятор брать под physical AI — от MuJoCo на CPU до батчевого обучения на GPU.

У LLM данные интернет-масштаба, у роботов такого запаса нет: модель должна выучить последствия физического контакта, а в реальном мире такой опыт собирают медленно, дорого и небезопасно. В симуляции через GPU-параллелизм накручивают тысячи часов опыта. Среда уже не только для отладки траекторий — на ней клеят датасеты восприятия, тренируют политики с подкреплением и гоняют редкие сценарии.

Где что крутится

В обзоре три уровня вычислений:

• GPU-кластер — обучение foundation-моделей;
• рабочая станция или кластер с ускоренной физикой и RTX — генерация опыта и сенсорных данных;
• edge-устройство вроде Jetson AGX Thor — запуск обученной политики на роботе.

Движки под разные задачи

MuJoCo даёт детерминированную контактную физику на CPU; MuJoCo Warp переносит те же задачи в тысячи параллельных миров на GPU. Isaac Sim тянет фотореализм, PhysX, RTX и симуляцию сенсоров через Omniverse. Isaac Lab 3.0 собирает из этого модульные workflow для RL, имитационного обучения и агентной сборки сред. Newton — открытый GPU-движок от NVIDIA, Google DeepMind и Disney Research; в Isaac Lab его уже подключают с приоритетом на солвер MuJoCo-Warp.

PyBullet остаётся быстрым CPU-бейзлайном для прототипов, Drake — для жёсткой оптимизации траекторий. Ни один из них не закроет запрос «4096 гуманоидов на одной GPU» — для такого масштаба смотрят на Newton или MuJoCo Warp.

Источник: The State of Simulation for Physical AI: An Overview.