Обучение генеративной модели Stable Diffusion под стиль Клода Моне
Идея
Всем нам иногда хочется сбежать от реальности и погрузиться в волшебный мир фей, русалок, гномов и прочих сказочных атрибутов. Поэтому я решила обучить модель легкому, немного волшебному художественному стилю Клода Моне. И с ее помощью посмотреть как могли бы выглядеть дома тех или иных сказочных персонажей.
Исходные изображения
Я взяла самые популярные изображения картин Клода Моне с его официального сайта. И так как их размер был слишком большим для обработки нейросетью, то я приняла решение «порезать» их на более мелкие фрагменты и на их основе обучать модель.
Процесс обучения
Инструменты, использованные для реализации проекта:
Stable Diffusion — обучение генеративной нейросети под свой стиль
Hugging Face — получение токена для обучения нейросети, загрузка полученной модели на сайт
Google Colab — выполнение кода и генераций
Обучение модели осуществлялось на основе кода, данного нам преподавателем.
После того, как были установлены все необходимые библиотеки, я собрала вручную 28 изображений, «порезала» их на множество фрагментов и получилось 56 изображений для датасета, который и был использован для обучения нейросети.
После загрузки датасета и других данных я начала обучение модели in impressionism style.
И после того, как модель обучилась я приступила к генерации картинок.
Готовая серия изображений
Итак, предлагаю вам посмотреть на мой маленький архитектурно-фэнтезийный от самого маленького здания до самого большого.
Промты к изображениями будут подписаны ниже.
Начать, думаю, стоит с дома лесного эльфа, который поселился в самом красивом мухоморе в округе.
photo collage in impressionism style, an elf’s house in a mushroom with a red hat, with a wooden door and a round window from which light can be seen
Это домик гномика, который поселился в старом дубовом пеньке в густом лесу.
photo collage in impressionism style, surrounded by dense forest and fireflies fantasy little gnome house made from an old tree stump, with a flat roof covered with mushrooms and moss
Кто из нас не мечтал о том, чтобы хоть немного пожить в доме на дереве? А вот у гнома-лесовика он есть и в нем даже можно пожить, если конечно, договориться с хозяином.
photo collage in impressionism style, a house in a tree, with suspension bridges, standing in a dense magical forest, on which stands a small gnome in a red cap, entwined with bindweed
Это дом цветочной феи, которая живет в розовом кусте.
photo collage in impressionism style, a tine fairy house located in the rose bush
А это дом водяной феи, которая живет на берегу живописного лазурного озера.
photo collage in impressionism style, a fairy house standing on a small island surrounded by azure water with graceful elements of the facade and a picturesque garden around it
В моем волшебном мире есть место всем! И даже героям Толкиена — хоббитам.
photo collage in impressionism style, a hobbit house standing under a spreading oak tree with a round yellow door, surrounded by a luxurious flowering garden
А вот дом веселого дровосека, который приглядывает за волшебным лесом, в котором находятся все предыдущие домики.
photo collage in impressionism style, standing in a magical pine forest, a small wooden lumberjack hut with a chopping block in the front yard
А это дом одной из злых сестер-ведьм, которые мешают спокойной жизни обитателей леса.
photo collage in impressionism style, standing on a cliff, a gloomy stone house of a witch, entwined with vines with thorns, with lancet windows in which a purple light is visible
Это особняк старшей из сестер, выбитый в крутом утесе.
photo collage in impressionism style, standing on a cliff, a gloomy stone house of a witch, entwined with vines with thorns, with lancet windows
А это, скрытая от посторонних глаз, таверна гномов, в которой можно выпить холодной росы и свежей гномьей медовухи!
photo collage in impressionism style, a dwarven wooden tavern built from an oak tree trunk with light visible through the windows
О, а к этому месту лучше не приближаться, (по крайней мере так может показаться на первый взгляд) потому что тут живет великан! И нет, он совершенно не злой, просто очень одинокий, так что если будете рядом — заходите в гости.
photo collage in impressionism style, a giant’s stone house located in a field, in front of it stands a small man looking up at a wooden door
В этой уединенной крепости не затихает лязг мечей и звуки заклинаний на древнем языке, потому что тут обучают ведьмаков…
photo collage in impressionism style, a remote fortress with a high tower in the snowy mountains
А в этом роскошном, удаленном от суеты, замке живет семья правителей Лесного королевства.
photo collage in impressionism style, a fantasy castle surrounded by lush greenery
В этих же перламутровых чертогах, окруженных бескрайними рифами, живет королевская чета Морского королевства.
photo collage in impressionism style, fantasy elegant light castle with high thin towers, located under water, surrounded by white warm glow and picturesque coral reef
Итог работы
Это был очень интересный опыт и серия изображений получилась яркой, запоминающейся. В ней есть общие черты, и было крайне занимательно придумывать промты, чтобы они в полной мере отражали мою задумку. Надеюсь, что эти картинки смогли хоть ненадолго вытянуть вас из стресса и проблем, и погрузить в волшебный и добрый мир, который мы придумали совместно с нейросетью!
