Nvidia AI Blueprint позволяет любому разработчику легко создавать автоматизированных агентов, анализирующих видео

Accenture, Dell и Lenovo входят в число компаний, использующих новый Nvidia AI Blueprint для разработки визуальных агентов ИИ, которые могут повысить производительность, оптимизировать процессы и создать более безопасные пространства.

Предприятия и организации государственного сектора по всему миру разрабатывают агентов ИИ для расширения возможностей сотрудников, которые полагаются на визуальную информацию с растущего числа устройств, включая камеры, датчики IoT и транспортные средства.

Для поддержки их работы новый Nvidia AI Blueprint для поиска и обобщения видео позволит разработчикам практически в любой отрасли создавать визуальных агентов ИИ, которые анализируют видео- и графическое содержимое. Эти агенты могут отвечать на вопросы пользователей, генерировать обобщения и включать оповещения для определенных сценариев.

Часть Nvidia Metropolis, набора инструментов разработчика для создания приложений ИИ-визуализации, представляет собой настраиваемый рабочий процесс, который объединяет компьютерное зрение Nvidia и генеративные технологии ИИ.

Глобальные системные интеграторы и поставщики технологических решений, включая Accenture, Dell и Lenovo, предлагают Nvidia AI Blueprint для визуального поиска и обобщения для предприятий и городов по всему миру, запуская следующую волну приложений ИИ, которые могут быть развернуты для повышения производительности и безопасности на заводах, складах, в магазинах, аэропортах, транспортных развязках и т. д.

Анонсированный перед Всемирным конгрессом Smart City Expo, Nvidia AI Blueprint предоставляет разработчикам визуальных вычислений полный набор оптимизированного программного обеспечения для создания и развертывания агентов на базе генеративного ИИ, которые могут принимать и понимать огромные объемы прямых видеопотоков или архивов данных.

Пользователи могут настраивать этих агентов визуального ИИ с помощью подсказок на естественном языке вместо жесткого программного кода, что снижает барьер для развертывания виртуальных помощников в различных отраслях и приложениях для умных городов.

Nvidia AI Blueprint использует модели языка зрения

Агенты визуального ИИ работают на основе моделей языка зрения (VLM), класса моделей генеративного ИИ, которые объединяют компьютерное зрение и понимание языка для интерпретации физического мира и выполнения задач рассуждения.

Nvidia AI Blueprint для поиска и суммирования видео можно настроить с помощью микросервисов Nvidia NIM для VLM, таких как Nvidia VILA, LLM, таких как Meta's Llama 3.1 405B, и моделей ИИ для ускоренных на GPU ответов на вопросы и контекстно-зависимой расширенной генерации.

Разработчики могут легко заменять другие VLM, LLM и графовые базы данных и настраивать их с помощью платформы Nvidia NeMo для своих уникальных сред и вариантов использования.

Внедрение Nvidia AI Blueprint может сэкономить разработчикам месяцы усилий по исследованию и оптимизации генеративных моделей ИИ для приложений умного города.

Развернутый на графических процессорах Nvidia на периферии, локально или в облаке, он может значительно ускорить процесс прочесывания видеоархивов для выявления ключевых моментов.

В складской среде агент ИИ, созданный с помощью этого рабочего процесса, может предупреждать работников о нарушении протоколов безопасности. На оживленных перекрестках агент ИИ может определять дорожные столкновения и создавать отчеты для помощи в ликвидации последствий чрезвычайных ситуаций. А в сфере общественной инфраструктуры работники по техническому обслуживанию могут просить агентов ИИ просматривать кадры с воздуха и определять ухудшающиеся дороги, железнодорожные пути или мосты для поддержки упреждающего обслуживания.

Помимо интеллектуальных пространств, визуальные агенты ИИ также могут использоваться для обобщения видео для людей с нарушениями зрения, автоматического создания обзоров спортивных мероприятий и помощи в маркировке больших визуальных наборов данных для обучения других моделей ИИ.

Рабочий процесс поиска и обобщения видео присоединяется к коллекции Nvidia AI Blueprints, которые упрощают создание цифровых аватаров на базе ИИ, создание виртуальных помощников для персонализированного обслуживания клиентов и извлечение корпоративных идей из данных PDF.

Nvidia AI Blueprints бесплатны для разработчиков для ознакомления и загрузки и могут быть развернуты в производстве в ускоренных центрах обработки данных и облаках с помощью Nvidia AI Enterprise, сквозной программной платформы, которая ускоряет конвейеры науки о данных и оптимизирует разработку и развертывание генеративного ИИ.