Обучение генеративной нейросети | Михаил Александрович Врубель
В качестве итогового задания модуля было принято решение об обучении генеративной нейросети на основе работ Михаила Александровича Врубеля
Творчество Михаила Александровича Врубеля является знаковым в истории искусства и оказало на меня значительное влияние при первом знакомстве с его работами. Чистое любопытство привело меня к идее получить больше изображений в его уникальном стиле, включая сюжеты, которые никогда не были отражены в его картинах.
Демон поверженный | Михаил Александрович Врубель | 1902
Нейросеть была обучена на основе базы данных, собранной из 24 работ художника, кадрированных в масштабе 1024×1024.
Это была моя вторая попытка обучения нейросети. Первой стала попытка обучения нейросети на основе 150 работ другого художника, однако результат оказался неудовлетворительным, и мне захотелось узнать, как нейросеть уловит характер изображения художника в условиях небольшого датасета.
Шестикрылый серафим (1904), Сирень (1900), Жемчужина (1904) | Богатырь (1889), Пан (1899), Девочка на фоне персидского ковра (1886) | Михаил Александрович Врубель
_00 | Описание применения генеративной модели
Обучение производилось с использованием среды выполнения Google Collab.
Для начала я использовала модели искусственного интеллекта BLIP для генерации описаний изображений, который поможет обучить мою модель на парных данных: изображениях и соответствующих текстовых подписях.
В качестве модели генерации изображений был выбран Stable Diffusion XL c добавлением методов DreamBooth и метода LoRA.
Другие нейросетевые модели в проекте не использовались.
_01 | Генерация портретов
Характерные черты прослеживаются у Михаила Александровича Врубеля в изображении портрета человека. К ним относятся:
- Выразительные глаза - Утонченные черты лица - Четкие мозаичные мазки
Лирические образы становятся центром работ художника, поэтому, чтобы протестировать качество генераций нейросети, я решила начать именно с портрета.
prompt = «painting in VRUBEL style, portrait of a young man, blue colors, detailed, high quality»
Получившийся результат действительно оказался похож на стиль Михаила Врубеля. Нейросеть повторила акцентированные глаза и скопировала характер мазков, однако не попала в характер материалов и сделала мазки полупрозрачными акварельными, а не густыми, как на оригинальных изображениях, что прослеживается во всех генерациях.
Вероятно из-за небольшой выборки изображений, нейросеть воспроизводила одинаковые черты лица.
prompt = «painting in VRUBEL style, portrait of a young woman, blue colors, detailed, high quality»
Также я провела серию генераций, сосредоточенных на женском портрете. Нейросеть все еще использовала одинаковые черты лица, однако очень характерные для работ художника, что можно заметить по сопоставлению ниже. Вдобавок я заметила, что нейросети тяжело воспроизводить дорогое убранство и узоры, которые свойственны работам Михаила Врубеля.
Генерация || Гадалка | Михаил Александрович Врубель | 1895
Также была проведена серия генераций изображений человеческого глаза. Однако в этих работах авторский стиль практически утратился. Вероятно, для успешного решения данной задачи нейросети требовалось дополнительное обучение на кадрированных изображениях глаз, так как модель не в состоянии сохранять стиль в отрыве от изображения лица.
prompt = «painting in VRUBEL style, an eye, blue shades detailed, high quality»
_02 | Повторение сюжетов
Далее я хотела попробовать воспроизвести характерные сюжеты для Михаила Врубеля.
В качестве референсов я выбрала 3 работы и постаралась сгенерировать нечто близкое к оригиналу: «Шестикрылый серафим» (1904), «Демон поверженный» (1902), «Девочка на фоне персидского ковра» (1886) .
prompt = «painting in VRUBEL style, Seraphim, detailed, high quality»
Так я создала серию генераций, желая сравнить их с картиной «Шестикрылый серафим» (1904). В данном случае промпт оказался недостаточно точным и лишь требовал воспроизведения серафимов, которые получились слишком нежными по сравнению с оригиналом.
В дополнение, для достижения разнообразия, я попросила изменить внешность серафима, чтобы внести коррективы в однородность внешних черт генераций.
prompt = «painting in VRUBEL style, blonde Seraphim in flowers, blue colors, dark colors, detailed, high quality»
Следующий промпт чуть более точно описывал желаемый результат, референсом была картина «Демон поверженный» (1902). Именно в процессе экспериментов с этими генерациями появилась невероятная обложка данного проекта, на которой нейросеть решила добавить герою темные очки.
prompt = «painting in VRUBEL style, a young man is lying on peacock feathers, covering his forehead with his hand, long hair, dark eyes, blue shades, detailed, high quality»
prompt = «painting in VRUBEL style, An emaciated young man lies on golden peacock feathers, covering his face with his hand, full height, side view, long hair, dark eyes, blue shades, detailed»
Для описания картины «Девочка на фоне персидского ковра» (1886) также был составлен короткий и простой промпт. Тем не менее, нейросеть справилась с задачей. Вероятно, это произошло из-за того, что в выборке представлено единственное изображение ребенка, на которое она могла опираться.
В результате получились генерации внешне очень похожей девочки.
prompt = «painting in VRUBEL style, the little gypsy girl, high quality»
_03 | Пейзажные изображения
Пейзажные изображения никогда не были центром творчества Михаила Александровича Врубеля, однако их элементы присутствуют в его картинах в качестве окружающей персонажей среды.
Поэтому я решила посвятить несколько серий генераций тому, как могли бы выглядеть в исполнении художника пейзажные этюды.
prompt = «painting in VRUBEL style, beautiful landscape, trees, detailed, high quality»
prompt = «painting in VRUBEL style, landscape in blue, flowers, moonlight, detailed, high quality»
Порадовало то, что нейросеть напрямую перенесла цвета с картины «Демон сидящий» (1890) и адаптировала их под запрошенный контекст.
prompt = «painting in VRUBEL style, sunset, high quality»
Демон сидящий | Михаил Александрович Врубель | 1890
Этот блок вышел одним из лучших, так как нейросети отлично удалось попасть в стиль автора. Заметно, что нейросеть довольно четко опирается на изображения, на которых училась. Так, паттерн изображения цветов явно повторяет картину «Сирень» (1900), а цвета копируются напрямую, как в случае генераций заката или генераций пейзажа при яркой луне.
Генерация || Утро | Михаил Александрович Врубель | 1897
_04 | Время экспериментов
Не хотелось ограничиваться исключительно проверкой схожести, поэтому были проведены несколько экспериментов по созданию серий изображений на темы, ранее не отражавшиеся в работах Михаила Александровича Врубеля.
В качестве отправной точки был выбран образ чародея в лесу. Эта серия стала одной из наиболее любимых мною в рамках всего проекта. Она привлекает своей загадочностью, характерной для творчества художника, при этом создавая диссонанс за счет незнакомых элементов, присущих стилю Михаила Врубеля.
prompt = «painting in VRUBEL style, wizard in full height, blue shades, forest, magic, high quality»
Я продолжила опираться на фэнтезийный сеттинг, создав серию генераций образа лесного эльфа. На протяжении всех генераций лица, создаваемые нейросетью, сохраняли схожесть со стилем Михаила Врубеля. Серия изображений с эльфом не стала исключением, однако, по моему мнению, атмосфера врубелевских работ была утрачена, и нейросеть отклонилась в сторону избыточной сказочности.
prompt = «painting in VRUBEL style, Beautiful young elf, forest, sun, high quality»
Далее я решила попробовать воспроизвести что-то из современного сеттинга. Однако на некоторые запросы нейросеть давала сбой и выдавала хаотичные мазки в стиле и цветовой гамме художника, но без фигуративных элементов.
В конце концов, мне удалось создать удачную серию изображений офисного работника в рубашке. Идея образа далека от работ Михаила Врубеля, однако реализация не выглядит выбивающейся, так как генерации больше напоминают обычные портреты в исполнении автора. Тем не менее, стиль художника удалось передать.
prompt = «painting in VRUBEL style, office worker, the man in the shirt and jacket, high quality»
_05 | Подведение итогов
Подводя итог, стоит отметить, что в ходе проекта удалось совершить множество успешных генераций. Некоторые результаты действительно оказались близки к стилю Михаила Александровича Врубеля и удачно воспроизвели его характерные черты. Например, серия генераций с чародеем выглядит так, будто могла бы стать эскизом для работы художника.
Однако, как бы генерации ни были близки к стилевым особенностям автора, они не могут повторить ту глубину образов, созданных Михаилом Александровичем Врубелем, не говоря уже о более очевидных недостатках, таких как анатомические и логические ошибки, невозможность изобразить детализированные и декорированные объекты, а также непонимание некоторых промптов.
