Original size 730x1024

Крокодил Гена, Чебурашка и зоопарк

PROTECT STATUS: not protected

«Крокодил Гена, Чебурашка и зоопарк» — серия изображений, сгенерированных с помощью нейросети Stable Diffusion, обученной скриншотами из мультсериал «Крокодил Гена»

Идея проекта

Кукольный мультипликационный фильм «Крокодил Гена» поставлен Романом Качановым по мотивам книги Эдуарда Успенского «Крокодил Гена и его друзья». Картина выпущена киностудией «Союзмультфильм».

Мультфильм обладает уникальным визуальным стилем, мне показалось хорошей идеей обучить генеративную нейросеть по скриншотам из «Крокодила Гены». Такой проект будет полезен для фанатов, желающих увидеть новые пути развития вселенной, и художников, которые будут создавать новые концепты в духе мультсериала. Основная идея — пофантазировать на тему того, какие еще персонажи могли бы быть в этой вселенной.

Исходные изображения для обучения

0
1/8

Процесс обучения

Я обучала модель Stable Diffusion XL с использованием техники LoRA (Low-Rank Adaptation). Сначала я проверила доступность GPU и установила необходимые зависимости, затем создала директорию для датасета и загрузила туда нужные изображения. Датасет — серия кадров из мульсериала «Крокодил Гена». При помощи функции image_grid отобразила несколько первых изображений из датасета, чтобы убедиться, что данные загружены корректно. Дальше генерировала описания для каждого изображения с помощью модели BLIP (Bootstrapped Language-Image Pretraining) для обучения модели с использованием текстовых подсказок. Потом создала файл metadata.jsonl, который содержит пути к изображениям и соответствующие подписи. После удалила модель BLIP, чтобы освободить память. Затем настроила и запустила обучение модели Stable Diffusion XL. После обучения сохранила модель на Hugging Face Hub.

При помощи обученной модели приступила к генерации серии изображений. Несколько раз заканчивалось бесплатное время GPU в Google Colab, помогал перезапуск модели в разных ноутбуках с разных аккаунтов. Поэтому прикреплены 2 ссылки.

Итог

Сначала генерировала город, окружение и персонажей в определенной среде, которая получалась похожей на ту, что в мультфильме.

Сначала модель создавала изображения плохого качества, чтобы детализировать кадры я добавляла в конец промпта «ultra-detailed, 8K, HDR, intricate details»

Original size 1024x1024
Original size 1024x1024

Далее генерировала картины и сюжеты, непохожие на мультфильм.

Ссылки на google collab

Ссылка на модель

Крокодил Гена, Чебурашка и зоопарк
Project created at 10.04.2025
creativecity.academy
A joint project of the HSE ART AND DESIGN SCHOOL and the Institute for the Development of Creative Industries, focused on working with Russian regions. The Creative City digital platform is a media outlet that aggregates projects related to territorial branding, a community of professionals, and a service that allows you to create local websites, work with the local identity and popularity of cities and places. Study the map of the Creative City. Get acquainted with the projects that have already been implemented. Add your... Show more
events
travelling
history
art and design
We use cookies to improve the operation of the HSE website and to enhance its usability. More detailed information on the use of cookies can be fou...
Show more