Концепция
Уильям Блейк. Лос и Энитармон. Иерусалим, эманации Великого Альбиона. 1820
Проект направлен на обучение генеративной нейросети Stable Diffusion созданию изображений, вдохновленных визуальным Уильяма Блейка. Целью обучения является воспроизведение живописной манеры художника.
Исходная серия изображений
Уильям Блейк. Великий красный дракон и женщина, облаченная в солнце. Между 1805 и 1810 // Уильям Блейк. Антей, опускающий Данте и Вергилия в последний круг Ада. 1827
Уильям Блейк. Исаак Ньютон. Около 1804-1805
Во многих работах люди представлены в необычных позах. Такая выборка позволяет провести эксперимент, насколько нейросеть сможет считать авторский подход к изображению людей.
Уильям Блейк. Адам и Ева находят тело Авеля. 1826 // Уильям Блейк. Капанеус-богохульник. Иллюстрации к «Божественной комедии». 1827
Процесс обучения модели
Для обучения модели использовались не полноформатные изображения, а только квадратные фрагменты. Для обрезки и изменения размера изображений с целью последующего использования был использован инструмент BRIME
Собранный датасет состоит из 20 изображений.
prompt: art in BLAKE style, person sitting on the meadow in the forest // prompt: art in BLAKE style, old man is boating on the lake at night
Обучение произведено в среде Google Colab. Первым шагом было подключение GPU и установка всех необходимых библиотек: diffusers, bitsandbytes, transformers, accelerate, peft, а также скрипта обучения DreamBooth и LoRA.
С помощью модели BLIP к каждому изображению создано краткое описание, к которому после добавился префикс art in BLAKE style, чтобы задать единое стилистическое направление.
В процессе обучения модели Stable Diffusion XL (SDXL) использовались DreamBooth и LoRA. Для обучения использовались следующие параметры: — разрешение 512px — количество шагов 500
Обученная модель загружена на Hugging Face.
Итоговая серия изображений
prompt: art in BLAKE style, snow queen riding across a frozen lake // prompt: art in BLAKE style, village with wooden burrows covered in snow
Помимо библейских сюжетов Блейк также иллюстрировал различные произведения, поэзию и прозу. Я решила в качестве промптов для изображений использовать сюжеты из европейских сказок.
prompt: art in BLAKE style, maiden in red hat walking through the forest with a basket // prompt: art in BLAKE style, wolf hides behind a tree in the forest
Было несколько итераций создания каждого изображения, однако в большинстве случаев нейросеть выдавала достаточно текстурированную иллюстрацию. В оригинальных работах Блейка можно наблюдать обилие текстур, однако они не нарушают форму объектов. В работах модели за текстур форма сложнее считывается.
prompt: art in BLAKE style, Baba Yaga flying through a stormy night sky in a giant mortar // Уильям Блейк. Иллюстрации к Библии. Элохим создал Адама из праха. 1805
С изображением одиночных объектов модель справилась хорошо.
prompt: art in BLAKE style, a gingerbread house on the meadow // prompt: art in BLAKE style, oak with a gold chain
prompt: art in BLAKE style, magical firebird perched on an ancient oak tree // prompt: art in BLAKE style, a big red flower in the garden
Заключение
Как и ожидалось, из-за специфической манеры Блейка изображать людей и других существ, модель не везде смогла корректно изобразить людей и животных. Но несмотря на это, в целом модели удалось передать уникальный стиль художника, сочетающий в себе живописные и графические элементы.
Применение генеративной модели
Для генерации изображений были использованы Stable Diffusion XL (SDXL), DreamBooth и LoRA.
Для генерации промптов был использован Chat GPT.
