Google представляет серию Gemma 2: модель с параметрами 27B, которая может работать на одном TPU

На конференции разработчиков Google I/O в этом году компания представит серию Gemma 2, первым представителем которой станет гораздо более крупная легкая модель с 27 миллиардами параметров. Однако она будет доступна не сразу - ее появление запланировано на июнь.

«Мы специально выбрали размер 27B», - объяснил на прошлой неделе Джош Вудворд, вице-президент Google Labs, на круглом столе с журналистами. «Он оптимизирован для работы на графических процессорах нового поколения Nvidia или на одном TPU в Vertex AI. Именно это делает его простым в использовании. И мы уже видим отличное качество. Она превосходит модели в два раза больше, чем она».Gemma - это семейство облегченных моделей Google для разработчиков, которые хотят внедрить искусственный интеллект в свои приложения и устройства, не требуя при этом большого объема памяти или вычислительной мощности, что делает их пригодными для использования на устройствах с ограниченными ресурсами, таких как смартфоны, IoT-устройства и персональные компьютеры. С момента своего запуска в начале этого года Google добавила несколько вариантов, включая один для завершения кода (CodeGemma), другой для повышения эффективности работы с памятью (RecurrentGemma), и, наконец, совсем недавно, модель для языка зрения (PaliGemma).

Теперь, имея 27 миллиардов параметров, Gemma 2 обещает предложить более точные результаты и производительность, а также справиться с более сложными заданиями, чем две ее предшественницы. Наличие большего набора данных для обучения позволяет ИИ выдавать более качественные ответы за меньшее время.Хотя Вудворд утверждает, что Gemma 2 рассчитана на работу на одном TPU, он имеет в виду TPUv5e, компьютерный чип Google последнего поколения, который был выпущен в августе прошлого года. Другими словами, для использования Gemma 2 требуется один специализированный чип ИИ для вычислений, уменьшения задержек и решения таких задач, как распознавание изображений и обработка естественного языка. Чем меньше ресурсов требуется, тем больше разработчики экономят, чтобы реинвестировать в свое приложение.

Дебют Gemma 2 состоялся в тени презентации OpenAI GPT-4o, мультимодального LLM, и был назван «значительным обновлением» по сравнению с тем, что пользователи испытывают сейчас, особенно для тех, кто использует бесплатную версию ChatGPT.