бургерЛого хедера
Поиск
avatar

Meta AI разрабатывает компактную языковую модель для мобильных устройств

Исследователи Meta AI представили MobileLLM - новый подход к созданию эффективных языковых моделей, предназначенных для смартфонов и других устройств с ограниченными ресурсами. Эта работа, опубликованная 27 июня 2024 года, бросает вызов предположениям о необходимом размере эффективных моделей ИИ.

image

Исследовательская группа, состоящая из сотрудников Meta Reality Labs, PyTorch и Meta AI Research (FAIR), сосредоточилась на оптимизации моделей с менее чем 1 миллиардом параметров. Это ничтожно мало по сравнению с такими моделями, как GPT-4, которые, по оценкам, имеют более триллиона параметров.Разработка MobileLLM совпадает с растущим интересом к более эффективным моделям ИИ. Поскольку прогресс в создании очень больших языковых моделей замедляется, исследователи все чаще изучают потенциал более компактных, специализированных конструкций. Фокус на эффективности и развертывании на устройстве ставит MobileLLM в одну категорию с тем, что некоторые исследователи называют Small Language Models (SLMs), несмотря на "LLM" в названии.

Хотя MobileLLM еще не доступен для публичного использования, компания Meta открыла доступ к коду предварительного обучения, что позволяет другим исследователям использовать его наработки. Развитие этой технологии может привести к появлению более продвинутых функций ИИ на персональных устройствах, хотя сроки и точные возможности остаются неопределенными.

Разработка MobileLLM представляет собой важный шаг на пути к тому, чтобы сделать передовой ИИ более доступным и устойчивым. Она опровергает мнение о том, что эффективные языковые модели должны быть огромными, и открывает новые возможности для применения ИИ на персональных устройствах.

0 комментариев

Вас могут заинтересовать