Амедео Модильяни — один из самых узнаваемых художников начала XX века, чей стиль строится на вытянутых пропорциях, упрощённых формах, плавных линиях и приглушённой цветовой палитре.
Меня заинтересовала уникальная манера Модильяни в изображении людей — вытянутые лица и шеи, миндалевидные глаза, упрощённые формы и мягкая, приглушённая цветовая палитра.
Целью проекта было создать LoRA-модель, способную генерировать новые портреты, которые не копируют существующие работы художника, но сохраняют узнаваемые черты его художественного языка.
Для обучения было отобрано 20 изображений — характерных портретов Модильяни.
Для обучения модели был собран датасет из портретов Амедео Модильяни. В датасет вошли изображения женских и мужских портретов, выполненных художником в разные годы. Основное внимание уделялось именно портретам, поскольку стиль Модильяни наиболее ярко проявляется в изображении лица и фигуры человека.
При отборе изображений я обращала внимание на:
- вытянутые пропорции лица и шеи;
- упрощённые черты лица;
- характерную форму глаз;
- ограниченную цветовую палитру;
- плоскостность изображения и слабую проработку фона.
Все изображения взяты с сайта Артхив. Поскольку Модильяни умер в 1920 г году, его произведения уже перешли в общественное достояние, что делает их использование для обучения нейросети этически и юридически корректным.
Обучение проводилось в Google Colab по методу LoRA на базе Stable Diffusion XL 1.0.
В качестве уникального токена стиля использовался токен modigliani style. Каждое описание изображения содержало этот токен и краткое описание изображения (например: «portrait in modigliani style, woman with long neck, oil painting»).
Результаты
Prompts:
- <…> portrait of a young boy, oil painting, modigliani style
- <…> portrait of a medieval princess, oil painting, modigliani style
- <…> melancholic man portrait, long neck, modigliani style
- <…> modern blonde girl portrait, modigliani style
- <…> medieval knight oil portrait, modigliani style
- <…> sad woman with brown hair, oil portrait, modigliani style
В ходе проекта я пришла к выводу, что LoRA-обучение позволяет достаточно точно перенести художественный стиль конкретного художника, сохранив его визуальные особенности, но при этом создавая новые изображения, которые не существовали ранее. Таким образом, нейросеть может выступать как инструмент продолжения художественного метода автора в цифровой среде.
В итоговой серии изображений можно увидеть, что модель успешно переняла основные черты стиля Амедео Модильяни:
- вытянутые пропорции лиц и фигур;
- характерные миндалевидные глаза;
- упрощённые и обобщённые формы;
- мягкие цветовые переходы;
- приглушённую цветовую палитру;
- плоскостное изображение без глубокой перспективы.
При этом изображения отличаются друг от друга:
- меняется цветовая гамма;
- меняются персонажи (пол, возраст, образ);
- меняется фон и освещение;
- варьируется степень стилизации (где-то стиль выражен сильнее, где-то слабее).
Это показывает, что модель не просто копирует конкретные картины, а именно переносит стиль на новые изображения.
В рамках проекта были применены следующие генеративные и вспомогательные нейросетевые модели:
- Stable Diffusion — основная генеративная модель, на базе которой обучалась LoRA;
- DreamBooth LoRA — для дообучения модели на выбранном стиле;
- BLIP — для автоматической генерации текстовых описаний изображений;
- ChatGPT — для помощи с ошибками при выполнении кода, написания и структурирования текста экспликации, а также уточнения технических деталей описания процесса обучения и анализа результатов.
