Стиль Билибина в LoRA

Стиль Ивана Билибина — один из самых узнаваемых среди русских художников и иллюстраторов. Его уникальными чертами являются декоративность, чёткий контур, отсутствие глубокой перспективы и теней. И самое важное для моей концепции — фольклорные сюжеты и мотивы: сказки, былины, мифологические персонажи.

Целью проекта было обучить генеративную нейросеть воспроизводить уникальный стиль Билибина, создавая новые изображения в его неповторимой фольклорной эстетике. Сегодня культура наполнилась множеством новых мифологических миров и историй в разных жанрах и медиа.

Я выбрала Ивана Билибина, потому что его уникальный стиль очень хорошо подходит к серии книг «Ведьмак» Анджея Сапковского и видеоигре «Ведьмак 3: Дикая Охота» от студии CD Projekt RED. Сама вселенная «Ведьмака» изначально наполнена сказочными и мифологическими мотивами. Мне захотелось взять стиль художника, который в прошлом черпал вдохновение из культуры и фольклора, и применить этот визуальный язык к сюжетам современных произведений, создав синтез классического наследия и современного нарратива.

В итоге работы нейросети получилось 24 изображений в стиле и эстетике Билибина.

Я использовала 9 промптов дважды, чтобы посмотреть, как будет отличаться результат между ними. Ещё 6 промптов были дописаны чуть позже и использовались только один раз.

Нейросеть хорошо справилась с природой и архитектурой, придерживаясь стиля Билибина. Видно чёткий контур, плоскость (отсутствие теней и глубокой перспективы).

Животные и мифические существа получились чуть хуже, но всё же довольно близко по качеству заднего плана. У них виден чёткий лайн отделяющий их от фона и довольно хорошая проработанность анатомии.

С людьми же всё получилось сложнее. Статичные позы нейросеть смогла передать достаточно хорошо, при этом сохранив у персонажей изображения орнамент и детали одежды. Хотя лица персонажей в отдалении и не очень хорошо видно, но когда они «близки» к зрителю, а не находятся на заднем и среднем планах, их портретная зона достаточно проработана.

Однако персонажи в движении получились значительно хуже. У них нарушена анатомия и иногда пропадает лайн характерный стилю Билибина.

В принципе нейросеть хорошо сохранила стиль и эстетику работ Билибина, хоть и с некоторыми недочётами. Можно было бы значительно улучшить изображения человека в движении и проработку отдалённых человеческих лиц.

Для написания кода использовался код обучения данный на курсе («SDXL_DreamBooth_LoRA_Colab.ipynb»).

Для обучения я взяла работы Билибина и обрезала их до квадратного формата 700×700 пикселей, поскольку оригинальные иллюстрации были не подходящего формата. В итоге получилось 43 изображения, которые я загрузила в код

Для всех изображений были написаны промпты. Перед каждым промптом шла специальная фраза модели BLIP, которую нейросеть должна была ассоциировать с сочетанием стиля Билибина и нарративом «Ведьмака».

Обучение проводилось на GPU T4 в Google Colab. Поскольку в стиле Билибина присутствует много деталей, для генерации более качественных изображений я использовала «--resolution=768 \», а не стандартное «--resolution=512 \». Из-за этого время обучения составило примерно полтора часа.

После завершение генерации изображений, они сохранились в один zip-файл, чтобы не нужно было скачивать их все по отдельности.

Идея проекта заключалась в сочетании стиля рисования Ивана Билибина с современным фольклорным-фэнтези. И получившиеся изображения демонстрируют довольно качественный результат, пусть и с некоторыми проблемами в детализации отдельных моментов.

Stable Diffusion XL — основной нейросеть для генерации изображения в стиле Ивана Билибина. BLIP — создание описаний для изображений. Deepseek — чистка кода, проверка ошибок, корректировка промптов.