Обучение генеративной нейросети в стиле Hennie Niemann jnr
Описание идеи
«Хенни Ниманн-младший является одним из самых известных современных художников Южной Африки. Несмотря на свой успех, его главной целью всегда остается баланс. „Конечно, я бы хотел быть лучшим в своей отрасли, но достижение настоящего баланса гораздо ценнее. Слишком часто мы смотрим на этих успешных икон, только чтобы узнать, что их личная жизнь — ужасный провал“», — с официального сайта Хенни.
Ebb and flow, Hennie Niemann jnr, 2021 (2) // Fiesta, Hennie Niemann jnr, 2022
Стиль Хенни — сочетание реализма и экспрессионизма, с акцентом на использование цвета и света. Художник часто изображает яркие портреты. Он использует богатую палитру и динамичные мазки кисти, что создает ощущение движения и жизни в его работах. Одной из отличительных черт его стиля является способность передавать настроение и эмоции через цветовые контрасты и текстуры. Хенни также уделяет внимание деталям, что позволяет зрителю погрузиться в атмосферу каждой картины.
To have and to hold, Hennie Niemann jnr, 2013
Обычно героини Хенни расслаблены, они могут находиться в танце или в процессе чтения. Но в данном проекте было решено изменить привычный сюжет картин художника. Благодаря использованию нейросетей героиней Хенни станет уставшая девушка, работающая в офисе. В проекте будет сгенерирована серия картин, отражающая «день сурка» женщины. Итоговые иллюстрации показывают рутинные моменты жизни горожанки. К примеру, сборы на работу или мечты об отдыхе на море.
Исходные данные
Фотографии работ Хенни, которые стали базой для дальнейшей работы, собраны с официального сайта художника.
The Botanist, Hennie Niemann jnr, 2018 // Viridian Summer, Hennie Niemann jnr
Подготовка среды
Сначала необходимо подготовить среду для программы. Проверяется работа GPU, чтобы проверить драйвера и графический процессор.
После устанавливаются все нужные библиотеки и прогоняется скрипт DreamBooth + LoRA на SDXL.
Также создается папка Hennie, в которой будут собраны исходные изображения для обучения модели.
Подготовка к обучению модели
Загружается обучающий датасет с 24 картинами художника и определяется функция image_grid.
Bathers, Hennie Niemann jnr, 2018 // Baccanal, Hennie Niemann jnr, 2015
Carnaval, Hennie Niemann jnr, 2022
Далее создается описание к каждой фотографии из датасета для того, чтобы модель понимала, что это стиль художника.
Обучение модели
Запускается обучение LoRA-модели на базе SDXL с помощью DreamBooth. Скрипт запускает процесс дообучения Stable Diffusion XL с применением LoRA и DreamBooth. Используются оптимизации для экономии ресурсов (fp16, 8-bit Adam, градиентный чекпоинтинг). При создании исходного кода и при обучении модели не использовался ИИ (или ГенИИ).
prompt: Painting in the style of Hennie Niemann jnr, alarm clock ringing in a dim bedroom
prompt: Painting in the style of Hennie Niemann jnr, getting dressed in morning sunlight
Особенности итоговых изображений
prompts: Painting in the style of Hennie Niemann jnr, dreaming of lying on a tropical beach, Painting in the style of Hennie Niemann jnr, swimming in clear turquoise water under the sun
Получена серия изображений, в которых узнается стиль Хенни, повторяются мазки художника, его экспрессивная манера подачи и цветовая палитра. В полученных картинах также можно увидеть геометрические формы и линии и абстракцию, которая свойственна художнику.
prompt: Painting in the style of Hennie Niemann jnr, waking up on the couch and realizing it was just a dream
prompts from 7 to 10
