Genie 4 от DeepMind: мир в реальном времени, звук и ранний доступ через API

27 октября DeepMind запустила Genie 4 , модель мира с интерактивной симуляцией в реальном времени. Ambient, музыка и диалоги рождаются вместе со сценой, без отдельного аудиотрека: задаёте событие или правку текстом , модель продолжает, как мир отвечает, как звучит и как люди в кадре двигаются и говорят. В основе стек Gemini: Omni задаёт внешний вид и поведение, остальные модели семейства держат связность между вашими вводами. В демо , клавиши для навигации и камеры и текстовые промпты; между командами Gemini подстраивает сцену, чтобы мир не замирал. Четыре направления релиза правка симуляции на лету , погода, камера, новые объекты и персонажи через естественный язык; физика и люди , аэродинамика, столкновения, естественные движения и реакции персонажей; нативный звук , ambient сеттинга, от ветра в деревьях до волн на берегу; интерактивные диалоги , реплики персонажей подстраиваются под ваши действия и события в мире. Пока Genie 4 , research preview для отобранных тестеров. Дальше подписчики Google AI Ultra в Project Genie, ранние партнёры Gemini API и Google AI Studio; лист ожидания открыт в Project Genie. В анонсе на первом месте бесконечно вариативные тренировочные среды для роботов и агентов , не только интерактив для зрителя. Источник: Genie 4: A new generation of world simulation .