ToyBlocks: робот, кубики и те же вызовы инструментов, что в агентском чате

Ai2 запустила ToyBlocks — первый открытый FoundationWorld: стол с манипулятором и деревянными блоками с буквами на гранях, где нужны не только стопки, но и поиск, сортировка и разворот скрытой стороны куба. Демонстрации собирают автоматически, без телеоперации, сцены рандомизируют размер блоков и высоту стола, чтобы смотреть обобщение при смене геометрии и повторять прогоны с метриками поведения.
Навыки и демонстрации в симуляции
Короткие действия вроде проталкивания или переворота без захвата тренируют в Isaac Lab с подкреплением и планированием движений; симулятор может подставлять точную позу блока как привилегированную подсказку вместо ручной съёмки траекторий. Для длинных задач task-and-motion planner склеивает навыки в план, прогон записывает в датасет; сотни таких планов параллельно на одном GPU дают до 24-кратной скорости относительно реального времени.
Иерархия моделей и вызовы через MCP
Molmo 2 отвечает за верхний уровень рассуждений, ManiFlow — за низкоуровневые движения манипулятора. В режиме search-and-spell навыки симулятора открывают через Model Context Protocol, и Claude Opus 5.5 обращается к ним как к инструментам в цепочке вызовов. Через веб-интерфейс можно подключить Claude или другую крупную модель и описать задачу на естественном языке, не собирая отдельный роботический стек вокруг стенда.
Источник: ToyBlocks: A controlled world for robot learning and evaluation.