Google AI Studio добавляет настраиваемое извлечение кадров из видео, кэширование контекста

Платформа для создания прототипов и экспериментов с моделями машинного обучения теперь поддерживает встроенную функцию извлечения видеокадров и кэширования контекста. Первое доступно уже сегодня, а второе скоро появится в API Gemini.

Используя функцию извлечения видеокадров, разработчики могут брать видео, загруженное в их приложения, и заставлять Gemini захватывать отдельные кадры или изображения из определенной последовательности. Это поможет ИИ лучше понять, что происходит в сцене, предоставить краткое резюме и улучшить пользовательский опыт. Настраиваемую функцию извлечения видеокадров можно найти в API Gemini.Благодаря кэшированию контекста разработчики, чьи приложения работают с большими объемами информации, могут кэшировать часто используемый контекст, сокращая расходы и оптимизируя рабочие процессы. Другими словами, файлы могут быть отправлены в Gemini один раз, а не многократно. По словам Google, кэширование контекста полезно в таких сценариях, как «мозговой штурм идей контента на основе имеющейся работы, анализ сложных документов или предоставление резюме научных работ и учебных материалов». Оно будет поддерживаться в API Gemini, когда он будет выпущен.

Эти функции являются частью целого ряда анонсов Gemini, которые Google делает во время своей конференции для разработчиков. К ним присоединяются и другие анонсы, такие как выпуск Gemini 1.5 Flash, новой модели Gemma 2 и предварительно обученного варианта под названием PaliGemma.