Meta только что обошла Google и Apple в гонке по установке мощного искусственного интеллекта в телефоны

Сегодня компания анонсировала сжатые версии своих моделей Llama 3.2 1B и 3B, которые работают в четыре раза быстрее, используя при этом меньше памяти, чем предыдущие версии. По результатам тестирования, проведенного Meta, эти уменьшенные модели работают почти так же хорошо, как и их более крупные собратья.

Как Meta заставила большие языковые модели работать на телефонах

Для продвижения используется техника сжатия, называемая квантованием, которая упрощает математические вычисления, используемые в моделях ИИ. Meta объединила два метода: Quantization-Aware Training с адаптерами LoRA (QLoRA) для поддержания точности и SpinQuant для улучшения переносимости.

Это техническое достижение решает ключевую проблему: запуск продвинутого ИИ без огромных вычислительных мощностей. До сих пор сложные модели ИИ требовали центров обработки данных и специализированного оборудования.

Тесты на телефонах OnePlus 12 Android показали, что сжатые модели на 56 % меньше и используют на 41 % меньше памяти, а обрабатывают текст более чем в два раза быстрее. Модели могут обрабатывать тексты объемом до 8 000 символов, что достаточно для большинства мобильных приложений.

Технологические гиганты борются за мобильное будущее ИИ

Выход Meta обостряет стратегическую борьбу между технологическими гигантами за контроль над тем, как ИИ будет работать на мобильных устройствах. В то время как Google и Apple применяют осторожные, контролируемые подходы к мобильному ИИ, сохраняя его тесно интегрированным в свои операционные системы, стратегия Meta заметно отличается.

Благодаря открытому доступу к сжатым моделям и партнерству с производителями чипов Qualcomm и MediaTek, Meta обходит стороной традиционных платформенных привратников. Разработчики могут создавать приложения для искусственного интеллекта, не дожидаясь обновлений Android от Google или iOS от Apple. Этот шаг напоминает первые дни существования мобильных приложений, когда открытые платформы значительно ускоряли инновации.

Партнерство с Qualcomm и MediaTek имеет особое значение. Эти компании обеспечивают работу большинства телефонов Android в мире, включая устройства на развивающихся рынках, где Meta видит потенциал роста. Оптимизируя свои модели для этих широко распространенных процессоров, Meta гарантирует, что ее ИИ сможет эффективно работать на телефонах разной ценовой категории, а не только на устройствах премиум-класса.

Решение распространять продукцию как через сайт Meta Llama, так и через Hugging Face, все более влиятельный центр моделей ИИ, показывает стремление Meta найти разработчиков там, где они уже работают. Такая стратегия двойного распространения может помочь сжатым моделям Meta стать стандартом де-факто для разработки мобильного ИИ, подобно тому, как TensorFlow и PyTorch стали стандартами для машинного обучения.Будущее искусственного интеллекта в вашем кармане

Сегодняшний анонс Meta указывает на более масштабные изменения в искусственном интеллекте: переход от централизованных к персональным вычислениям. Хотя облачный ИИ будет и дальше справляться со сложными задачами, эти новые модели предполагают будущее, в котором телефоны смогут обрабатывать конфиденциальную информацию конфиденциально и быстро.

Это очень важно. Технологические компании сталкиваются с растущим давлением по поводу сбора данных и прозрачности ИИ. Подход Meta - сделать эти инструменты открытыми и запускать их непосредственно на телефонах - решает обе проблемы. Ваш телефон, а не удаленный сервер, вскоре сможет выполнять такие задачи, как резюмирование документов, анализ текста и написание творческих работ.

Это отражает другие поворотные сдвиги в вычислительной технике. Подобно тому, как вычислительная мощность перешла от мейнфреймов к персональным компьютерам, а компьютеры - от настольных компьютеров к смартфонам, ИИ, похоже, готов к переходу на персональные устройства. Мета делает ставку на то, что разработчики примут эти изменения, создавая приложения, сочетающие удобство мобильных приложений с интеллектом ИИ.

Успех не гарантирован. Для успешной работы этих моделей по-прежнему нужны мощные телефоны. Разработчики должны взвесить преимущества конфиденциальности против необработанной мощности облачных вычислений. А у конкурентов Meta, в частности Apple и Google, есть свое видение будущего ИИ в телефонах.

Но ясно одно: ИИ освобождается от центра обработки данных, причем по одному телефону за раз.