Нейро-Крис (обучение генеративной нейросети)

Идея моего проекта продиктована поставленной задачей — для обучения генеративной сети было необходимо использовать изображения, являющиеся объектами общественного достояния, или те работы, на использование которых автор дал добровольное и задокументированное задание. Но ведь я — тоже автор! Поэтому, вооружившись небольшим датасетом из собственных иллюстраций (спойлер: это повлияло на качество работы, что я позже проанализирую), я начала создавать серию иллюстраций о своем персонаже.

Её зовут Крис. Она — студентка направления «дизайн», которой нравится рисовать и укутываться в комфортные слои своей одежды. Спонтанная, она любит яркие цвета и не то, чтобы любит, но все же попадает в разного рода «ситуации», хотя в своих генерациях я предпочитала изображать спокойные бытовые сценки. Самым важны атрибутом (будущей звезды дизайна) являются звездочки! А именно головной убор, впрочем, перекочевавший из полноценной «шапки» в подобие разнообразных аксессуаров, но об этом позже.

Для начала я создала рабочее окружение, где проверила доступ к GPU и установила нужные библиотеки, что дало возможность работать с облегчёнными весами и ускорить обучение. Затем я загрузила скрипт train_dreambooth_lora_sdxl.py — основное ядро всей процедуры, которое позволяет «вживить» мой визуальный стиль в модель через технологию LoRA. Дальше — этап подготовки датасета. Я собрала небольшой архив со своими иллюстрациями, распаковала его и автоматически выровняла каждое изображение до квадратного формата 512×512 пикселей. Чтобы сделать обучение более осмысленным, я сгенерировала подписи к каждому изображению с помощью модели BLIP. Она анализировала мои работы и формулировала краткие описания, к которым я добавляла префикс — «illustration in krkrkr_style, character portrait of Kris,».

После я очистила память, подключила Hugging Face и приступила к самому важному этапу — обучению, которое шло на модели Stable Diffusion XL, поверх которой я натренировала мою LoRA. Завершающий шаг — подключение обученных весов к пайплайну генерации. Я загрузила VAE-кодировщик, базовую SDXL-модель и добавила к ней мою LoRA. Теперь можно было увидеть, как Крис — мой персонаж со звёздным головным убором и вечной тягой к уюту — оживает в генерациях, постепенно обретая ту интонацию, которую я вложила в рисунки вручную.

Весь свой код, за исключением генерации самих иллюстраций и промптов, я показала на скриншотах.

Это — самые первые генерации Крис. На левом изображении я не описала отличительные черты героини достаточно хорошо, а также забыла про собственный префикс, именно поэтому генеративная нейросеть «досроила» изображение самостоятельно, что сделало его несколько более профессиональным и приятным глазу.

Даже если остальные мои иллюстрации уже в полной мере обучались при помощи моего датасета, по причине чего получились не такими хорошими, как первая иллюстрация, я рада, что общий стиль и характеристика персонажа были «схвачены» — равно как получила удовольствие и от этой наивности, «нерявшливости» работ. Это напомнило мне мои школьные годы, в которые и создавалась Крис.

Все иллюстрации, вошедшие в датасет, я делала еще в школе (о чем говорила ранее). Тогда мой стиль отличался яркими цветами, почти всегда текстурными кистями и огромным количеством звездочек, письменных пометок-цитат и легкими, жизнерадостными персонажами. В обучении модели я хотела передать эту жизнерадостность Крис. Она яркая, спонтанная и неисправимая оптимистка — кажется, это получилось, хотя и не идеально. Мне было интересно наблюдать за тем, как генеративная нейросеть, не распознающая кириллицу, создавала узоры, похожие на буквы, добавляла текстурные мазки и спонтанные звезды.

Я считаю, что черты сходства с моим стилем иллюстраций определенно есть, но их мало, так как датасет не был достаточно большим (насчитывал всего 15 изображений). Однако, я думаю, что передать эмоцию и характер персонажа получилось достаточно хорошо — повторяю за Крис, моей нарисованной оптимисткой из детства!