Идея проекта
Концепция
В эпоху цифрового искусства, когда генеративные нейросети способны создавать изображения за секунды, возникает вопрос: могут ли они не просто имитировать, а понимать и воспроизводить уникальный художественный язык великих мастеров прошлого?
Данный проект посвящен исследованию возможностей дообучения генеративной нейросети Stable Diffusion для воспроизведения стиля сэра Энтони ван Дейка (Anthony van Dyck, 1599–1641) — одного из величайших портретистов в истории европейского искусства. Ван Дейк, будучи придворным художником короля Карла I, создал эталон аристократического портрета, который определил развитие жанра на столетия вперед.
Автопортрет. Деталь. Ок. 1623. Холст, масло. Прадо, Мадрид
Актуальность и оригинальность
В отличие от множества проектов, где нейросеть обучают на современных иллюстраторах или аниме-стилях, обращение к классическому живописному наследию позволяет:
Протестировать границы генеративных моделей в передаче сложных художественных приемов (лессировка, фактура ткани, светотень); Создать инструмент для современной визуальной культуры, способный генерировать изображения с «памятью» о великом искусстве; Продемонстрировать, как технологии ИИ могут служить сохранению и интерпретации культурного наследия.
Цель проекта
Обучить LoRA-адаптер для Stable Diffusion, способный генерировать портретные изображения в характерном стиле Энтони ван Дейка: с сохранением особенностей светотени, колорита, фактуры тканей, аристократической позы и психологической глубины образов.
Выбор датасета: портреты Энтони ван Дейка
Для обучения модели был сформирован датасет из портретных работ Энтони ван Дейка, имеющих открытую лицензию (Open Access). Источниками послужили коллекции крупнейших музеев мира, предоставляющих свободный доступ к оцифрованным изображениям своих собраний.
Критерии отбора:
Портреты, выполненные маслом (исключены рисунки и гравюры); Изображения с высоким разрешением, позволяющим различать детали живописной техники; Работы, демонстрирующие характерные особенности стиля ван Дейка: мягкий свет, моделирующий лицо и фигуру; изысканная передача фактуры тканей (шелк, бархат, кружево); аристократическая сдержанность поз; тонкая психологическая характеристика модели; Квадратное или близкое к квадрату соотношение сторон для удобства обработки. Количество изображений: 16 портретов
Работы художника
Пример папки с нумерацией портретов
Работы взяты на Met Museum имеют статус «Open Access»
Серия сгенерированных изображений
Показать контраст между парадными аристократическими портретами в стиле Энтони ван Дейка и камерными образами простых людей (рыжих девушек из народа)
portrait by Anthony van Dyck, young red-haired shepherdess, simple woolen cloak, sheep in background, rolling hills, soft afternoon light, serene expression
Нейросеть Stable Diffusion при генерации портретов часто искажает лица: они могут получаться асимметричными, с размытыми чертами, неестественными пропорциями или «стеклянными» глазами. Особенно это заметно, когда в промпте много деталей одежды, фона или света — модель «отвлекается» и уделяет лицу меньше внимания. Единым текстом без четких указаний сложно добиться идеального лица, поэтому приходится перебирать промпты, менять seed и делать несколько подходов, чтобы получить приемлемый результат.
portrait by Anthony van Dyck, knight in polished silver armor, red sash, sword at side, horse in background, dramatic lighting, battlefield mist
Нейросеть точно передаёт приглушённые цвета, маслянистую фактуру старых картин и характерные для ван Дейка вытянутые пропорции фигур. Стиль узнаваем.
Фактура полученных изображений повторяет манеру ван Дейка: мягкая светотень, моделирующая объём, бархатистые переходы между светом и тенью, характерный разворот корпуса в три четверти, удлинённые пропорции фигур и богатая, но приглушённая цветовая гамма.
Детали генерации
Процесс обучения занял около 40 минут на GPU. Модель прошла 500 шагов оптимизации с сохранением промежуточных чекпоинтов на 250-м шаге. Использовалась техника LoRA (Low-Rank Adaptation) — это позволило дообучить большую модель SDXL на 16 небольших изображениях портретов ван Дейка без переобучения всей сети, что экономит ресурсы.
Перед обучением все изображения были автоматически описаны с помощью модели BLIP, к каждому описанию добавился промпт-префикс «portrait in style of Anthony van Dyck». Это позволило нейросети понять, какой именно стиль нужно выучить.
Потери (loss) снизились с 0.003 до 0.115 — модель успешно адаптировалась под стиль художника. При генерации использовался коэффициент влияния LoRA (lora_scale = 0.8), чтобы сохранить баланс между выученным стилем и исходными возможностями модели.
Несмотря на успешное обучение, мелкие детали лиц остаются слабым местом: нейросеть иногда искажает пропорции черт лица, особенно при сложных ракурсах. Однако цветовая гамма, фактура мазка и общая композиция уверенно передают манеру ван Дейка.
В проекте были использованы нейросети:
- Stable Diffusion (для обучения модели и генерации изображений)
2.Deepseek (для помощи написания кода)
