Nvidia представила проект Isaac GR00T для ускорения гуманоидной робототехники

В программном докладе генерального директора Nvidia Дженсена Хуанга на выставке CES 2025 Хуанг сказал, что рабочие процессы Isaac GR00T для синтетических данных и модели Nvidia Cosmos world foundation дадут толчок развитию обычных гуманоидных роботов.

Навигация по правилам ИИ в телекоммуникациях - AI Impact Tour 2024 Навигация по правилам ИИ в телекоммуникациях - AI Impact Tour 2024

Роботы на марше

Ожидается, что в течение следующих двух десятилетий рынок гуманоидных роботов достигнет 38 миллиардов долларов. Чтобы удовлетворить этот значительный спрос, особенно в промышленном и производственном секторах, Nvidia выпускает коллекцию моделей фундамента роботов, конвейеров данных и фреймворков моделирования для ускорения разработки гуманоидных роботов следующего поколения.

Проект Nvidia Isaac GR00T для генерации синтетического движения помогает разработчикам генерировать экспоненциально большие данные синтетического движения для обучения своих гуманоидов с помощью имитационного обучения.

Имитация обучения — подмножество обучения роботов — позволяет гуманоидам приобретать новые навыки, наблюдая и подражая профессиональным человеческим демонстрациям. Сбор этих обширных, высококачественных наборов данных в реальном мире утомителен, отнимает много времени и часто непомерно дорог.

Внедрение плана Isaac GR00T для генерации синтетического движения позволяет разработчикам легко генерировать экспоненциально большие синтетические наборы данных из небольшого количества человеческих демонстраций.

Начиная с рабочего процесса GR00T-Teleop, пользователи могут использовать Apple Vision Pro для захвата действий человека в цифровом двойнике. Эти человеческие действия имитируются роботом в симуляции и записываются для использования в качестве наземной истины.

Затем рабочий процесс GR00T-Mimic умножает захваченную человеческую демонстрацию в более крупный набор данных синтетического движения. Наконец, рабочий процесс GR00T-Gen, построенный на платформах Nvidia Omniverse и Nvidia Cosmos, экспоненциально расширяет этот набор данных с помощью рандомизации домена и 3D-масштабирования.

Затем набор данных можно использовать в качестве входных данных для политики робототехники, которая обучает роботов эффективно и безопасно перемещаться и взаимодействовать с окружающей средой в Nvidia Isaac Lab, модульной платформе с открытым исходным кодом для обучения роботов.

Модели фундамента мира сокращают разрыв между симуляцией и реальностью

Кто из них не робот?

Также на выставке CES компания Nvidia анонсировала Cosmos, платформу с семейством открытых, предварительно обученных моделей фундамента мира, специально созданных для создания видеороликов с учетом физики и состояний мира для разработки физического ИИ. Она включает в себя авторегрессионные и диффузионные модели в различных размерах и форматах входных данных. Модели были обучены на 18 квадриллионах токенов, включая 2 миллиона часов автономного вождения, робототехники, дронов и синтетических данных.

Помимо помощи в создании больших наборов данных, Cosmos может сократить разрыв между симуляцией и реальностью путем масштабирования изображений из 3D в реальные. Объединение Omniverse — платформы разработки интерфейсов прикладного программирования и микросервисов для создания 3D-приложений и сервисов — с Cosmos имеет решающее значение, поскольку помогает минимизировать потенциальные галлюцинации, обычно связанные с моделями мира, предоставляя важные гарантии с помощью своих высококонтролируемых, физически точных симуляций.

Расширяющаяся экосистема

Nvidia GR00T генерирует синтетические данные для роботов.

В совокупности Nvidia Isaac GR00T, Omniverse и Cosmos помогают физическому ИИ и гуманоидным инновациям сделать гигантский скачок вперед. Крупнейшие робототехнические компании, включая Boston Dynamics и Figure, начали внедрять и демонстрировать результаты с Isaac GR00T.

Производители гуманоидного программного обеспечения, оборудования и роботов могут подать заявку на ранний доступ к программе разработки гуманоидных роботов Nvidia.