REVERIE — проект, направленный на обучение генеративной модели определённому визуальному языку, основанному на эстетике нежных акварельных рисунков, мягких форм и плавных цветовых переходов, которые вызывают ассоциации со сновидениями и далёкими приятными воспоминаниями.
Визуальный язык проекта намеренно избегает чётких грубых линий, тёмных цветовых сочетаний и драматических мотивов, вместо этого обращаясь к мягким формам, плавным цветовым переходам и светлой, выразительной палитре. Целью проекта было передать ощущение невесомого блаженства, фантазии и погружения в мир грёз, где реальные объекты постепенно теряют свою строгость и становятся частью эфемерного пространства.
Обучение
Для обучения была собрана небольшая выборка из 10 квадратных изображений, которые были сгенерированы мной самостоятельно с помощью бесплатной версии нейросети Chat GPT на основе заранее составленного общего промпта желаемого визуального стиля. В качестве ключевых характеристик были определены точечное размытие отдельных участков изображения, лёгкая степень абстракции и акварельный характер изображения.
Примеры изображений, использованных для обучения генеративной модели
Я не ориентировалась на фиксированную цветовую палитру, поскольку целью было создать единое визуальное ощущение от всей серии скорее за счёт акцента на текстурах и художественных приёмах.
Примеры изображений, использованных для обучения генеративной модели
Однако даже при использовании одного общего промпта сформировалось несколько вариантов развития стиля: одни изображения отличались более яркой и насыщенной цветовой палитрой, другие — заметной текстурой, напоминающей карандашный штрих, а третьи выглядели более нежными, светлыми и мягкими. Поэтому при подготовке промпта для обучения новой модели я внесла дополнительные коррективы, чтобы сформировать более строгую и целостную систему визуальных характеристик.
Примеры изображений, использованных для обучения генеративной модели
Процесс обучения
На первом этапе была сформирована обучающая выборка из 10 квадратных изображений размером 1004 × 1004 px, о которой я говорила ранее.
После загрузки была проведена проверка набора данных, количество изображений и их исходное разрешение. Это позволило убедиться, что все изображения подходят для дальнейшего обучения.
Для подготовки текстовых описаний использовалась модель BLIP. Она автоматически анализировала содержание каждого изображения, после чего к полученному описанию добавлялся общий стилевой префикс, «PASTELDISSOLVE style, abstract pastel graphic artwork». Это позволяло связать содержание изображения с визуальным стилем проекта.
Для обучения использовалась модель Stable Diffusion XL Base 1.0 с применением метода DreamBooth LoRA.
После завершения обучения полученные веса LoRA были сохранены на Google Drive для дополнительной подстраховки и возможности повторного использования обученной модели. А также полученные веса были подключены к исходной модели Stable Diffusion XL.
Итоговые генерации
Для каждого изображения содержание текстового запроса немного менялось, однако обученная LoRA сохраняла общую систему визуальных характеристик.
Результирующие изображения
К моменту перехода к генерации более детализированных изображений было принято решение отказаться от использования негативного промпта, поскольку это только сильнее сбивало модель и результат без него был гораздо ближе к задумке.
Результирующие изображения
Далее начались эксперименты с новыми цветовыми сочетаниями, чтобы проверить, как еще модель может проявить себя. Неожиданно генерации стали особенно сильно напоминать акварельные рисунки.
Результирующие изображения
Результирующие изображения
