Luma расширяет видеомодель Dream Machine AI до полноценной творческой платформы и мобильного приложения

Luma AI, стартап, основанный бывшими сотрудниками Google и другими, значительно расширяет свою видеомодель Dream Machine AI с новым интерфейсом, мобильным приложением и новой базовой моделью генерации изображений. Модель Luma Photon сочетает в себе персонализацию, эффективность и творческую силу, чтобы раздвинуть границы создания изображений и видео. Теперь доступная в Интернете и iOS, новая Dream Machine стремится объединить простоту и изысканность на всех устройствах ввода с помощью единого интуитивно понятного диалогового интерфейса. Имея более 25 миллионов зарегистрированных пользователей с момента запуска в июне 2024 года, Dream Machine превращается в основанный на подписке сервис как для случайных создателей, так и для профессионалов в таких отраслях, как мода, маркетинг и кинопроизводство.

«Мы создали Dream Machine как визуального мыслительного партнера, работающего на совершенно новой модели изображений под названием Luma Photon», — сказал Амит Джайн, генеральный директор и соучредитель Luma AI, во время видеоинтервью с VentureBeat. «Это креативно, интеллектуально и разработано для людей, которые создают наш мир — дизайнеров, творцов в моде, медиа и развлечениях». Новый подход к визуальному творчеству

Dream Machine стремится устранить сложность, традиционно связанную с творческими инструментами. Пользователи могут просто описывать свои идеи на естественном языке или предоставлять справочные изображения для руководства результатами работы платформы. В отличие от традиционной разработки подсказок, которая требует точного и технического ввода, Dream Machine создана для интуитивного взаимодействия.

«В отличие от разработки подсказок, где вам нужно тщательно продумывать определенные команды, Dream Machine позволяет вам разговаривать с ней так, как будто вы разговариваете с человеком. Этот диалоговый интерфейс делает редактирование и создание интуитивно понятными», — объяснил Джейн.

Новые функции персонализации платформы, включая подсказки с несколькими изображениями и ссылки на персонажей с одним изображением, позволяют пользователям воплощать свои видения в жизнь с большей точностью и детализацией. Например, дизайнеры могут загружать текстуры, цвета и другие визуальные подсказки для руководства результатами работы системы.

«С помощью Dream Machine вы можете предоставить ему референсные изображения — цвета, структуры или текстуры — и он будет разумно комбинировать и итерировать, пока вы не получите именно то, что вам нужно. Это меняет правила игры для дизайнеров и креативщиков», — добавил Джейн.

Новые режимы включают режим мозгового штурма, который позволяет пользователям применять различные стилистические влияния к своим изображениям и видео, а также доски с несколькими изображениями и видео, которыми можно делиться с членами команды и коллегами-творцами, и «Концептуальные таблетки», которые предлагают предустановленные унифицированные стилистические визуальные эффекты, которые пользователи могут применять к своим видео и выходным изображениям.

Согласованные символы из одного изображения

Luma AI предвидит будущее, в котором визуальное создание будет таким же бесшовным и доступным, как набор текста. Dream Machine устраняет этот разрыв, делая передовые генеративные инструменты доступными для всех, от любителей до профессионалов отрасли.

«Почему создание изображений и видео должно быть таким же сложным, как использование инструментов Adobe? Представьте, если бы создание текста было таким же сложным — цифровой революции бы не было. Визуальное мышление должно быть таким же доступным», — утверждал Джейн.

Помимо доступности, платформа представляет новаторские возможности для создания видео. Пользователи могут анимировать сюжетные линии с последовательными персонажами, полученными из одного изображения, открывая новые двери для повествования.

«Теперь вы можете создавать бесконечное количество вариаций человека всего из одного изображения. Эта последовательность позволяет создавать целые сюжетные линии в видео с одним и тем же персонажем — то, чего не было в создании видео до сих пор», — сказал Джейн.

Новая модель генерации изображений Photon

В основе этих достижений лежит Luma Photon, новейшая модель компании, которая создает высококачественные неподвижные изображения из текстовых подсказок — и включает «современный» встроенный текст, чего многие другие модели генерации изображений все еще не могут надежно достичь.

Photon построен на архитектуре Luma Universal Transformer, которая, по словам Luma, в восемь раз быстрее и экономичнее сопоставимых моделей.

Такая эффективность обеспечивает быструю итерацию без ущерба для качества, что делает ее идеальной для случаев использования с высоким спросом.

«Наша новая модель Photon — самая креативная и персонализируемая модель, доступная сегодня. «Он адаптируется в режиме реального времени без обучения, используя передовую универсальную архитектуру преобразования», — пояснил Джейн.

Разработчики также могут использовать мощь Photon через API Luma AI, который поддерживает преобразования текста в изображение, текста в видео и изображения в видео. API обеспечивает конфиденциальность пользовательских данных и предлагает масштабируемость для продуктов, созданных на его платформе.