ИИ Sakana использует модели изображений для создания традиционных японских картин укиё-э
Помните Sakana AI? Почти год назад этот токийский стартап, благодаря своим высокопоставленным основателям из Google и новому подходу к разработке высокопроизводительных моделей, основанному на автоматическом объединении, громко заявил о себе на сцене искусственного интеллекта.
Сегодня компания анонсировала две новые модели для создания изображений: Evo-Ukiyoe и Evo-Nishikie.
Эти модели, доступные на Hugging Face, предназначены для создания изображений на основе текстовых и графических подсказок. Однако есть интересная и уникальная особенность: вместо того чтобы заниматься обычной генерацией изображений в различных стилях, эти модели сфокусированы на популярном в Японии историческом виде искусства укиё-э. Она процветала с XVII по XIX век, и Sakana надеется вернуть ее современным потребителям контента, используя возможности искусственного интеллекта.
Укиё-э, или «картины плывущего мира», возникли в Японии в начале 1600-х годов и стали популярным видом искусства, посвященным историческим сценам, пейзажам, борцам сумо и т. д. Этот жанр был основан на монохромных ксилографиях, но со временем перешел на полноцветные гравюры или «нисики-э», состоящие из нескольких ксилографий. Его популярность упала в XIX веке из-за множества факторов, в том числе из-за появления цифровой фотографии.
Теперь, выпустив две модели для генерации изображений, компания Sakana хочет вернуть исторические произведения искусства в массовую культуру. Первая модель - Evo-Ukiyoe - представляет собой программу преобразования текста в изображение, которая генерирует изображения, очень похожие на укиё-э, особенно если ввести текст с описанием элементов, часто встречающихся в искусстве укиё-э, таких как цветы сакуры, кимоно или птицы. Он даже может создавать рисунки в стиле укиё-э с несуществующими в те времена предметами, такими как гамбургер или ноутбук, но компания отмечает, что иногда результаты могут отклоняться от курса и совсем не походить на укиё-э.
Модель основана на Evo-SDXL-JP, которую Sakana разработала, используя свою новую технику объединения эволюционных моделей поверх SDXL от Stability AI и других открытых моделей распространения. Компания заявила, что использовала LoRA (Low-Rank Adaptation) для точной настройки Evo-SDXL-JP на наборе данных из более чем 24 000 тщательно прокомментированных произведений искусства укиё-э, полученных в рамках сотрудничества с Центром исследований искусства (ARC) Университета Рицумейкан в Киото.
0 комментариев