Hugging Face предлагает умозаключения как сервис на базе Nvidia NIM

Новый сервис позволит миллионам разработчиков в пять раз повысить эффективность использования токенов с помощью популярных моделей искусственного интеллекта.

разработчиков и обеспечит мгновенный доступ к микросервисам NIM, работающим на Nvidia DGX Cloud.Использование возможностей генеративного ИИ: как ИИ меняет работу и не только

Компании объявили об этом во время выступления генерального директора Nvidia Дженсена Хуанга на конференции по компьютерной графике Siggraph в Денвере, штат Колорадо.

Одно из крупнейших в мире сообществ ИИ, состоящее из четырех миллионов разработчиков на платформе Hugging Face, получает легкий доступ к ускоренным Nvidia выводам для некоторых из самых популярных моделей ИИ.Новые возможности inference-as-a-service позволят разработчикам быстро развернуть ведущие крупные языковые модели, такие как семейство Llama 3 и модели ИИ Mistral, с оптимизацией с помощью микросервисов Nvidia NIM, работающих на Nvidia DGX Cloud.

Анонсированный сегодня на конференции Siggraph, сервис поможет разработчикам быстро создавать прототипы моделей ИИ с открытым исходным кодом, размещенных на Hugging Face Hub, и внедрять их в производство. Пользователи Hugging Face Enterprise Hub могут использовать бессерверные вычисления для повышения гибкости, минимизации накладных расходов на инфраструктуру и оптимизации производительности с помощью Nvidia NIM.

Кари Бриски (Kari Briski), вице-президент по управлению программными продуктами генеративного ИИ, заявил на пресс-брифинге, что время для внедрения генеративного ИИ в производство пришло, но для некоторых это может оказаться сложной задачей.

«Разработчики хотят легко работать с API, создавать прототипы и тестировать, как модель может работать в их приложении с точки зрения точности и задержки», - сказала она. «В приложениях есть несколько моделей, которые работают вместе, подключаясь к различным источникам данных для получения ответа, и вам нужны модели для многих задач и модальностей, и вам нужно, чтобы они были оптимизированы».Именно поэтому Nvidia запускает микросервисы генеративного ИИ и Nvidia NIM.

Служба выводов дополняет Train on DGX Cloud, службу обучения ИИ, уже доступную на Hugging Face.

Разработчики, сталкивающиеся с растущим числом моделей с открытым исходным кодом, могут воспользоваться хабом, в котором они смогут легко сравнивать варианты. Эти инструменты обучения и вывода дают разработчикам Hugging Face новые возможности для экспериментов, тестирования и развертывания передовых моделей на ускоренной инфраструктуре Nvidia. Они легко доступны с помощью выпадающих меню «Train» и «Deploy» на карточках моделей Hugging Face, позволяя пользователям приступить к работе всего за несколько кликов.