Обучение генеративной нейросети под стиль Эми Дьюри
Идея проекта
Идея проекта заключается в том, чтобы попробовать сгенерировать в нейросети работы в стиле художницы Эми Дьюри, используя при написании промптов описание сюжетов, которые затрагивает художница в своих картинах. После чего сравнить, насколько похожие картины сгенерировала нейросеть.
Работы Эми Дьюри
Эми Дьюри работает с масляными красками, создавая вызывающие ностальгию произведения искусства. Каждая из работ Эми имеет свою собственную цветовую гамму, иногда выдержанную в палитре мрачного синего, а иногда состоящую из насыщенных красных или землисто-коричневых тонов.
Описание процесса обучения
Для начала необходимо проверить работу GPU. После чего осуществляется установка всех необходимых библиотек и прогоняется скрипт для обучения.
В качестве датасета в отдельную папку на Google Drive были выгружены 38 картин Эми Дьюри, к каждой из которых впоследствии с помощью модели BLIP было сгенерировано описание.
Для самого обучения потребовалось 500 шагов с чекпоинтом в 250. После продолжительного процесса обучения результат был сохранён на Hugging Face. Далее начался процесс генерации картин.
Результирующая серия изображений
prompt: painting in Amy Dury style, children playing with a ball (слева) / prompt: painting in Amy Dury style, a close-up the kids are playing with ball (справа)
Характерными особенностями работ Эми Дьюри являются яркие акценты и недосказанность. Её картины словно недописаны до конца. Эти две особенности художницы удалось передать нейросети в сюжете, характерном для Эми, где изображены дети, увлечённые игрой.
prompt: …close-up portrait of man near the pool (слева) / prompt: …a close-up portrait of a woman sits in thought (посередине) / prompt: …boy’s portrait with a blue shirt (справа)
Портреты получились наиболее удачными. Нейросети удалось передать характерные для художницы мазки, а также цветовую гамму, которую Эми Дьюри использует в своих портретах.
prompt: painting in Amy Dury style, a woman drinking tea with her friend (слева) / prompt: …portrait of women in green dresses (посередине) / prompt: …people sitting on a bench (справа)
prompt: painting in Amy Dury style, close-up woman with her daughter (слева) / prompt: painting in Amy Dury style, portrait of a family (справа)
Образ женщины и образ семьи являются неотъемлемой частью в картинах Эми Дьюри. Идеями для промптов послужили уже существующие сюжеты с этими образами в картинах художницы.
Вывод
В ходе работы над проектом в нейросети удалось успешно сгенерировать картины в стиле Эми Дьюри. Стоит отметить, как удачно у нейросети получилось передать художественные мазки, а также общую стилистику недописанной картины, так свойственной для художницы. Кроме того, нейросеть удачно подобрала цветовую гамму для картин. Подобранная палитра также характерна для Эми Дьюри.
