Meta делает MobileLLM открытым для исследователей.

Meta AI объявила о выпуске MobileLLM с открытым исходным кодом, набора языковых моделей, оптимизированных для мобильных устройств, с контрольными точками модели и кодом, которые теперь доступны на Hugging Face. Однако в настоящее время он доступен только по некоммерческой лицензии Creative Commons 4.0, что означает, что предприятия не могут использовать его в коммерческих продуктах.

Первоначально описанный в исследовательской статье, опубликованной в июле 2024 года и освещенной VentureBeat, MobileLLM теперь полностью доступен с открытыми весами, что является важной вехой для эффективного ИИ на устройстве.Выпуск этих открытых весов делает MobileLLM более прямым, хотя и косвенным, конкурентом Apple Intelligence, гибридного решения Apple для искусственного интеллекта на устройстве/в частном облаке, состоящего из нескольких моделей, которое на этой неделе отправляется пользователям операционной системы iOS 18 в США и за пределами ЕС. Однако, будучи ограниченным исследовательским использованием и требующим загрузки и установки с Hugging Face, оно, вероятно, останется ограниченным для компьютерной науки и академической аудитории на данный момент.

Более высокая эффективность для мобильных устройств

MobileLLM нацелен на решение проблем развертывания моделей искусственного интеллекта на смартфонах и других устройствах с ограниченными ресурсами.

С числом параметров от 125 миллионов до 1 миллиарда эти модели предназначены для работы в условиях ограниченных возможностей памяти и энергии, типичных для мобильного оборудования.

Уделяя особое внимание архитектуре, а не просто размеру, исследование Meta предполагает, что хорошо спроектированные компактные модели могут обеспечить надежную производительность искусственного интеллекта непосредственно на устройствах.

Решение проблем масштабирования

Философия проектирования MobileLLM отличается от традиционных законов масштабирования ИИ, которые подчеркивают ширину и большое количество параметров.

Вместо этого исследования Meta AI фокусируются на глубоких, тонких архитектурах для максимизации производительности, улучшая то, как абстрактные концепции фиксируются моделью.

Янн Лекун, главный научный сотрудник Meta по ИИ, подчеркнул важность этих стратегий, ориентированных на глубину, для включения продвинутого ИИ на повседневном оборудовании.

MobileLLM включает в себя несколько инноваций, направленных на повышение эффективности меньших моделей:

• Глубина по ширине: модели используют глубокие архитектуры, которые, как показано, превосходят более широкие, но более мелкие в сценариях малого масштаба.

• Методы встраивания общего доступа: они максимизируют эффективность веса, что имеет решающее значение для поддержания компактной архитектуры модели.

• Внимание группового запроса: вдохновленный работой Эйнсли и др. (2023), этот метод оптимизирует механизмы внимания.

• Немедленное распределение веса по блокам: новая стратегия для сокращения задержки путем минимизации перемещения памяти, помогающая поддерживать эффективность выполнения на мобильных устройствах.

Показатели производительности и сравнения

Несмотря на свой компактный размер, модели MobileLLM превосходны в тестовых задачах. Версии с 125 миллионами и 350 миллионами параметров показывают улучшение точности на 2,7% и 4,3% по сравнению с предыдущими моделями последнего поколения (SOTA) в задачах с нулевым выстрелом.

Примечательно, что версия 350M даже соответствует производительности вызовов API гораздо более крупной модели Meta Llama-2 7B.

Эти достижения показывают, что хорошо спроектированные меньшие модели могут эффективно справляться со сложными задачами.