OpenAI представляет модель ИИ для клонирования голоса.

Сегодня компания анонсирует свою новейшую модель искусственного интеллекта "Voice Engine", которая, по ее словам, находится в разработке с 2022 года и в настоящее время обеспечивает работу API OpenAI для преобразования текста в речь и новых функций ChatGPT Voice и Read Aloud, представленных ранее в этом месяце.Как выяснилось, модель также может выполнять клонирование голоса. Вот как это работает: человек записывает 15-секундный ролик своего голоса через микрофон телефона или компьютера, а голосовой движок OpenAI генерирует "естественную речь, которая очень похожа на оригинального диктора" и может быть использована в дальнейшем для произнесения вслух любого текста, который набирает пользователь.Очевидно, что технология имеет огромное значение для тех, кто часто записывает свои речи, будь то подкастеры, артисты озвучивания, исполнители устных выступлений, дикторы аудиокниг и рекламы, геймеры, стримеры, агенты по работе с клиентами, продавцы и представители многих других профессий и дисциплин.Это также оказывает давление на другие компании, занимающиеся подобными технологиями, такие как хорошо финансируемый ИИ-стартап ElevenLabs, Captions, Meta, WellSaid Labs, MyShell и другие.

OpenAI также подчеркивает, что Voice Engine может предложить поддержку невербальным людям, обеспечивая их уникальными, нероботизированными голосами, и помочь в терапевтических и образовательных программах для людей с нарушениями речи или потребностями в обучении.

Первоначальные варианты использования

В своем блоге OpenAI сообщила, что пока технология Voice Engine доступна лишь "небольшой группе надежных партнеров". Среди них были выделены и названы следующиеКомпания Age of Learning, специализирующаяся на образовательных технологиях, использует Voice Engine и GPT-4 для создания предварительно написанного и персонализированного голосового контента в режиме реального времени, расширяя возможности помощи в чтении и интерактивности для разнообразной студенческой аудитории.

HeyGen, платформа для создания визуальных историй с помощью искусственного интеллекта, позволяющая авторам и компаниям переводить свой контент на множество языков, использует Voice Engine для перевода видео, создавая человекоподобные аватары с многоязычными голосами, сохраняя акцент диктора, чтобы охватить глобальную аудиторию.

Компания Dimagi, занимающаяся разработкой программного обеспечения для работников здравоохранения, использует Voice Engine и GPT-4 для обеспечения интерактивной обратной связи на разных языках для таких работников, что улучшает качество предоставления основных услуг в удаленных районах.

Livox, приложение с искусственным интеллектом для устройств дополняющей и альтернативной коммуникации (AAC), используемых людьми с нарушениями речи и слуха, использует Voice Engine для создания уникальных нероботизированных голосов на разных языках для невербальных людей.

Институт нейронаук Нормана Принса в Lifespan, некоммерческая медицинская и учебная организация при Университете Брауна, занимающаяся помощью людям с неврологическими заболеваниями и расстройствами, использует Voice Engine для помощи людям с нарушениями речи в использовании ИИ-версии их голоса. Два врача, Рохаид Али и детский нейрохирург Константина Свокос, уже успешно восстановили речь пациентки с опухолью мозга, используя аудиозапись из одного из ее школьных видеопроектов.Однако пока что возможности технологии ограничены. Как и в случае с мощной, невероятно реалистичной и яркой моделью искусственного интеллекта для создания видео Sora, OpenAI пока не позволяет публике использовать Voice Engine. Вместо этого сегодня OpenAI просто делится информацией о существовании инструмента и "предварительными выводами и результатами небольшого предварительного тестирования" с "небольшой группой доверенных партнеров", которым был предоставлен доступ.