Кубофутуризм Кроткого // Обучение генеративной нейросети
Описание идеи
Изначально я не планировала работать с кубофутуризмом, но, погрузившись в творчество Василия Кроткова, не смогла устоять. Я собрала коллекцию его работ и решила провести эксперимент: обучить нейросеть генерировать изображения, вдохновленные его стилем.
Этот проект стал для меня первым шагом в нейросетевых экспериментах, и, хотя я не ставила себе целью собрать огромную базу данных, процесс оказался невероятно увлекательным. Результаты могли бы быть более отточенными, но теперь я точно понимаю, как работает система и что нужно для создания качественного результата.
Стиль художника отличает: - Использование острых углов и прямых линий, которые создают визуальный эффект динамики и движения. - Перспективные искажения, характерные для кубизма, где объекты представлены в множественных проекциях. - Яркие контрасты и насыщенные цвета, особенно в сочетаниях красного, желтого и синего.
Особенности обучения нейросети
Процесс обучения выглядел следующим образом: - Загрузка датасета, изменение размеров изображения - Добавление описание к каждому изображению с помощью BLIP (модель ИИ) - Обучение Stable Diffusion на данном датасете
Обучение проводилось с помощью LoRa и VAE, что помогают эффективно адаптировать большие модели, делая их более специализированными для вашей задачи, а также улучшают сжатие и восстановление изображений.
Ход обучения
Датасет состоял из 19 изображений. В первую очередь я загрузила изображения в ноутбук:
Далее я обработала изображения: привела их к формату 1×1 и добавила промпты к изображениям с помощью BLIP.
Далее я создала токен на http://huggingface.co.
После этого перешла к обучению StableDiffusion:
К слову, обучение длилось около 38 минут. Осталось сохранить в репозиторий и можно использовать модель.
Вот и все! Можно вводить свои промпты.
Итоговые изображения
Итоговые изображения, сгенерированные нейросетью, сохраняют яркие черты кубофутуризма, проявляющиеся в геометрических формах, абстракции и интерпретации пространства. Но намного сильнее искажают изображение, чем Кротков.
Описание применения генеративной модели
В рамках данного проекта использовалась генеративная модель Stable Diffusion, предназначенная для создания изображений на основе текстовых описаний. Целью было обучить нейросеть генерировать изображения в стиле кубофутуриста Василия Кроткова. Для каждого изображения было создано описание с помощью модели BLIP, для повышения качества генерации и более точного воспроизведения стиля художника использовались LoRa и VAE.
Stable Diffusion— обучение генеративной нейросети под свой стиль.
BLIP— добавление описание к каждому изображению.
Hugging Face — получения токена для обучения нейросети.
