Идея
Целью проекта стало исследование возможностей генеративной модели Stable Diffusion в воспроизведении художественного стиля Сергея Виноградова. В рамках эксперимента была обучена LoRA‑модель на репрезентативном наборе произведений художника, включающем как пейзажные композиции, так и работы с изображением человеческих фигур.
Несмотря на краткость обучения (всего 3 минуты), итоговые генерации продемонстрировали высокую степень соответствия оригинальному стилю — причём требуемый результат был достигнут с первой попытки.
Прилагаемые данные
Для обучения модели я использовала 14 работ Сергея Виноградова — в датасет вошли фрагменты картин, где главный элемент (фигура человека или ключевой объект пейзажа) центрирован. Такой подход помог модели лучше улавливать характерные мазки кисти, особенности композиции и детали авторского стиля.
Обучение проводилось с упрощёнными параметрами: всего 100 шагов, при этом генерации получились весьма близкими к стилю Виноградова. Ключевые настройки процесса:
Процесс обучения модели
На первом этапе была загружена база данных изображений работ Виноградова (--dataset_name="Vinogradov»). Затем с помощью модели BLIP автоматически сгенерированы промпты для каждого из них. Каждый промпт завершается одинаковой фразой «Vinogradov» (--instance_prompt="Vinogradov «), что задаёт модели чёткое направление и помогает фокусироваться на стилистических особенностях автора.
Дополнительно для повышения точности запросов к нейросети использовались подробные промпты, созданные с помощью инструмента Perplexity. Это позволило детально передать нюансы стиля Виноградова — особенности цветовой палитры, работы со светом и тенью, характерные композиционные решения.
Этап обучения модели Vinogradov_LoRA выполнялся с использованием скрипта train_dreambooth_lora_sdxl.py через утилиту accelerate launch.
В ходе обучения система проанализировала предоставленные данные, усвоила ключевые визуальные маркеры стиля Виноградова и научилась применять их к новым сюжетам. Благодаря оптимизации параметров (fp16, 8‑bit Adam) удалось достичь эффективного обучения даже при ограниченном числе шагов.
На финальном этапе модель Vinogradov_LoRA готова к генерации новых изображений по промптам. Она воспроизводит узнаваемые черты авторского стиля — манеру письма, цветовые сочетания, атмосферу работ Виноградова — и одновременно адаптирует их к оригинальным сюжетам, создавая художественные решения в духе мастера.
Итоги обучения
Boy walking along a narrow path through tall grass and wildflowers near a village, Vinogradov.png
Old town street with small houses and a church tower rising above the roofs, Vinogradov
Quiet interior with a table, samovar and flowers, sunlight falling across the wooden floor, Vinogradov
- Young girl playing piano in a bright country house with sunlight through the window, Vinogradov
- Two village women resting on a wooden bench near a small house on a sunny day, Vinogradov
- Woman sitting by an open window looking out at a blooming summer garden, Vinogradov
ИСПОЛЬЗОВАНИЕ ГЕНЕРАТИВНОЙ МОДЕЛИ
Stable Diffusion XL (SDXL) — базовая генеративная модель (stabilityai/stable-diffusion-xl-base-1.0);
LoRA (Low‑Rank Adaptation) — метод тонкой настройки модели для адаптации к стилю Сергея Виноградова (результат обучения — модель Vinogradov_LoRA);
DreamBooth — технология персонализации модели под конкретный стиль;
BLIP — модель для автоматической генерации промптов на основе загруженных изображений;
Perplexity — инструмент для создания подробных и точных промптов, помогающих передать нюансы стиля Виноградова (цветовая палитра, работа со светом и тенью, композиция).
