Идея проекта
Мне захотелось обучить генеративную нейросеть Stable Diffusion на работах Винсента Ван Гога, потому что мне очень нравится его живопись — её энергия, выразительные мазки, яркие цвета и особое эмоциональное напряжение. Мне было интересно посмотреть, насколько нейросеть сможет уловить этот художественный язык и создавать новые изображения, которые будут ассоциироваться со стилем Ван Гога.
Список использованных в проекте инструментов:
— Stable Diffusion XL + DreamBooth LoRA — обучение генеративной нейросети под выбранный художественный стиль — Google Colab — выполнение кода, обучение модели и генерация изображений — Hugging Face — загрузка базовой модели и использование инфраструктуры для работы с нейросетями
Написание кода
Для начала нужно проверить, подключён ли GPU, чтобы обучение и генерация шли быстрее. Устанавливаем все нужные библиотеки для работы со Stable Diffusion, LoRA и DreamBooth. Загружаем обучающий скрипт, который потом используется для запуска обучения модели.
Задаём основные параметры проекта: папку с изображениями, папку для сохранения модели, специальный токен стиля и текстовое описание того, чему должна обучиться нейросеть. Загружаем изображения в Google Colab и помещает их в нужную папку, чтобы потом использовать как датасет для обучения.
Загружаем базовую модель Stable Diffusion XL и подключает к ней обученные LoRA-веса. После этого создаётся pipeline, который уже может генерировать новые изображения в изученном стиле.
Идея проекта заключалась в том, чтобы посмотреть, как нейросеть сможет передать стиль Ван Гога через тему времён года. Мне было интересно не просто обучить модель на его живописи, а попробовать использовать один общий художественный язык для разных природных состояний — весны, лета, осени и зимы. Так можно было увидеть, насколько хорошо нейросеть сохраняет узнаваемый стиль художника и при этом меняет настроение, цветовую гамму и детали в зависимости от сезона.
Весна: — «vangoghseason post-impressionist painting of early spring meadow, blooming flowers, fresh green grass, bright sky, expressive brushstrokes, vivid colors» — «vangoghseason post-impressionist painting of spring garden after rain, shining leaves, soft sunlight, vivid green tones, painterly texture»
Лето: — «vangoghseason post-impressionist painting of summer countryside, sunflower field, warm golden light, deep blue sky, textured paint, swirling brushwork»
Осень: — «vangoghseason post-impressionist painting of autumn forest path, yellow and orange leaves, soft evening light, rich colors, dynamic brushstrokes» — «vangoghseason post-impressionist painting of late autumn field, dark earth, bare trees, dramatic sky, thick expressive strokes, warm brown tones»
Зима: — «vangoghseason post-impressionist painting of snowy winter landscape, small village, cold air, pale blue sky, textured paint, emotional atmosphere»
