Обучение генеративной нейросети | Anato Finnstark
Концепция
С самого детства меня завораживали мрачные фэнтезийные миры. Таинственные леса, скрытые в тумане, величественные руины древних цивилизаций, охваченные призрачным светом, герои, балансирующие на грани между светом и тьмой.
Одной из таких художниц для меня стала Анато Финнстарк — французская художница, чей стиль одновременно гибкий и узнаваемый. Она может точно вписываться в стиль разных вселенных, но при этом её работы всегда пропитаны атмосферой высокого фэнтези, гримдарка и мистики.
Anato Finnstark — The Shadow of Igris
Глядя на её картины, чувствуешь дыхание другого мира — сурового, но прекрасного.
В этом проекте я захотела попробовать обучить нейросеть работать в этом стиле, передавать сложные детали, игру света и тени, величие и трагичность. Это своего рода эксперимент: сможет ли искусственный интеллект уловить эту эстетику и передавать её в новых изображениях?
Anato Finnstark
Применение генеративной модели
Настройка модели включала сбор и обработку датасета с 200 иллюстрациями Анато Финнстарк, а также обучение модели с использованием Fine-tuning Stable Diffusion XL. Были применены методы DreamBooth и LoRA: DreamBooth позволил внедрить стилистическую концепцию, а LoRA обеспечил эффективное дообучение с меньшими вычислительными затратами.
Обучение проводилось в среде Kaggle, что позволило использовать облачные вычисления. В процессе использовался VAE (вариационный автокодировщик) для улучшения качества изображений, а также 8-битный оптимизатор Adam для экономии памяти.
Сode
Всего модель обучалась 1000 шагов без промежуточных сохранений, а после завершения обучения веса были загружены для дальнейшего использования в генерации изображений.
Dataset
Сгенерированные изображения
Warrior standing on a cliff under a stormy sky with lightning in the background
A green dragon perched on a cliff, with glowing blue eyes, surrounded by a stormy sky and lightning strikes | a glowing portal opening in the middle of a dark forest with mist
A dragon with red scales and glowing eyes, flying above a mountain range under a stormy sky
A mysterious figure in a hooded cloak, standing in a dark alley, with a glowing lantern in hand
A samurai with a red and black mask, wielding a katana, surrounded by a whirlwind of cherry blossoms in a stormy sky | A girl with silver hair standing in a field of red flowers at sunset
Разбор результата
Из-за разноплановости стиля художницы обучение было сосредоточено на конкретных примерах её работ. В первую очередь внимание уделялось характерным мазкам кисти, которые создают эффект дыма, из которого будто бы проявляются силуэты и персонажи.
Композиционные решения также получились удачными — например, сцены с маленькой фигурой человека на фоне гигантского дракона.
В цветовом плане большинство генераций выдержаны в зелёных, бежевых и чёрных оттенках, однако при задании конкретных цветов модель чаще всего выбирает палитру, близкую к той, что использует сама художница.
В данном примере удачно передана поза персонажа — он изображён со спины. Детализация амуниции самурая, включая его шлем и катану, также выполнена на хорошем уровне.
В данном примере хорошо передана поза всадника — человек сидит на лошади, что соответствует композиционным решениям, часто встречающимся в работах художницы. Цветовая гамма выполнена в чёрных и бежевых оттенках, что характерно для некоторых её произведений.
Дополнительно изображение создаёт эффект дымчатости, имитируя размытые мазки, которые часто используются автором для создания атмосферы мистики и таинственности.
Драконы в генерациях получились достаточно фактурными, с детализированной чешуёй, что подчёркивает их монументальность. Кроме того, удалось хорошо передать ощущение ужаса, исходящего от них, а цветовая палитра соответствует атмосферным тонам, характерным для работ художницы.
Код
Генеративные модели
Stable Diffusion XL (stabilityai/stable-diffusion-xl-base-1.0)
Цель применения: генерация изображений в стилистике художницы Анато Финнстарк на основе датасета с ее работами
Ссылка на модель: https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0
