Nvidia запускает платформу Cosmos World Foundation Model для ускорения физического ИИ

В программной речи на выставке CES 2025 генерального директора Nvidia Дженсена Хуанга компания заявила, что платформа включает в себя самые современные модели генеративного мира, усовершенствованные токенизаторы, ограждения и ускоренный конвейер обработки видео, созданный для продвижения разработки физических систем ИИ, таких как автономные транспортные средства (AV) и роботы.

Почему частные вычисления должны быть частью вашей стратегии ИИ - AI Impact Tour 2024 Почему частные вычисления должны быть частью вашей стратегии ИИ - AI Impact Tour 2024

Разработка физических моделей ИИ требует больших затрат и требует огромных объемов данных реального мира и тестирования. Модели Cosmos world foundation, или WFM, предлагают разработчикам простой способ генерации огромных объемов фотореалистичных синтетических данных на основе физики для обучения и оценки существующих моделей. Разработчики также могут создавать собственные модели путем тонкой настройки Cosmos WFM.

Модели Cosmos будут доступны по открытой лицензии модели для ускорения работы сообщества робототехники и AV. Разработчики могут предварительно просмотреть первые модели в каталоге API Nvidia или загрузить семейство моделей и фреймворк тонкой настройки из каталога Nvidia NGCTM или Hugging Face.

«Он обучен на 20 миллионах часов видео», — сказал Хуан. «Nvidia Cosmos. Речь идет об обучении ИИ пониманию физического мира».

Cosmos генерирует синтетические данные

Ведущие компании робототехники и автомобилестроения, включая 1X, Agile Robots, Agility, Figure AI, Foretellix, Fourier, Galbot, Hillbot, IntBot, Neura Robotics, Skild AI, Virtual Incision, Waabi и XPENG, а также гигант совместных поездок Uber, являются одними из первых, кто принял Cosmos.

«Наступает момент ChatGPT для робототехники. Как и большие языковые модели, модели фундамента мира имеют основополагающее значение для продвижения разработки роботов и беспилотных автомобилей, но не все разработчики обладают опытом и ресурсами для обучения своих собственных», — сказал в своем заявлении Дженсен Хуан, основатель и генеральный директор Nvidia. «Мы создали Cosmos, чтобы демократизировать физический ИИ и сделать общую робототехнику доступной каждому разработчику».

Путь Nvidia к CES 2025

Основные модели открытого мира для ускорения следующей волны ИИ

Набор открытых моделей Nvidia Cosmos означает, что разработчики могут настраивать WFM с помощью наборов данных, таких как видеозаписи поездок беспилотников или роботов, перемещающихся по складу, в соответствии с потребностями их целевого приложения.

WFM Cosmos специально созданы для исследований и разработок физического ИИ и могут генерировать видео на основе физики из комбинации входных данных, таких как текст, изображение и видео, а также данные датчиков робота или движения. Модели созданы для физически обоснованных взаимодействий, постоянства объектов и высококачественной генерации имитируемых промышленных сред, таких как склады или фабрики, а также сред вождения, включая различные дорожные условия.

В своем вступительном докладе на CES Хуан продемонстрировал, как разработчики физического ИИ могут использовать модели Cosmos, в том числе для:

Поиска и понимания видео, что позволяет разработчикам легко находить определенные сценарии обучения, такие как заснеженные дороги или заторы на складах, из видеоданных.

Управляемая генерация синтетических данных из 3D в реальные с использованием моделей Cosmos для создания фотореалистичных видео из контролируемых 3D-сценариев, разработанных на платформе Nvidia Omniverse.

Разработка и оценка модели физического ИИ, будь то создание пользовательской модели на основе базовых моделей, улучшение моделей с использованием Cosmos для обучения с подкреплением или тестирование их работы в определенном моделируемом сценарии.

Предвидение — способность предсказывать результаты следующих потенциальных действий физической модели ИИ, чтобы помочь ей выбрать наилучшее действие для выполнения.

Моделирование мультивселенной, использование Cosmos и Omniverse для генерации всех возможных будущих результатов, которые может получить модель ИИ, чтобы помочь ей выбрать наилучший и наиболее точный путь.

Продвинутые инструменты разработки модели мира

Nvidia объединяет технологии для ИИ в физическом мире с цифровыми двойниками.

Для создания физических моделей ИИ требуются петабайты видеоданных и десятки тысяч часов вычислений для обработки, отбора и маркировки этих данных. Чтобы помочь сэкономить огромные затраты на отбор данных, обучение и настройку моделей, Cosmos предлагает:

Конвейер обработки данных с ускорением Nvidia AI и CUDA на базе Nvidia NeMo Curator, который позволяет разработчикам обрабатывать, отбор и маркировать 20 миллионов часов видео за 14 дней с помощью платформы Nvidia Blackwell вместо 3,4 лет с использованием конвейера только на базе CPU.

Nvidia Cosmos Tokenizer — современный визуальный токенизатор для преобразования изображений и видео в токены. Он обеспечивает в восемь раз большее общее сжатие и в 12 раз более быструю обработку, чем ведущие сегодняшние токенизаторы.

Фреймворк Nvidia NeMo для высокоэффективного обучения, настройки и оптимизации моделей.

Крупнейшие в мире отрасли физического ИИ внедряют Cosmos

Пионеры в отрасли физического ИИ уже внедряют технологии Cosmos.

1X, компания, занимающаяся искусственным интеллектом и человекоподобными роботами, запустила набор данных 1X World Model Challenge с использованием Cosmos Tokenizer. XPENG будет использовать Cosmos для ускорения разработки своего человекоподобного робота.