Концепция
Проект направлен на создание персонализированной нейросети для генерации тату-эскизов в моём авторском стиле.
Основная цель — ускорить этап создания эскизов: на основе текстового описания клиента система создаёт несколько вариантов эскизов, которые сохраняют особенности моего стиля и могут быть доработаны вручную уже для сеанса.
Это позволяет:
- быстро визуализировать концепцию тату перед сеансом, экономя время на начальном этапе обсуждения проекта;
- сохранить узнаваемый стиль (не пытаться объяснить клиенту на пальцах и картинках из Pinterest, например, как будет выглядеть работа);
- облегчить процесс создания эскиза, если требуется нарисовать объект, с которым у меня есть трудности (например, анатомия животных).
Датасет
Для обучения использовались 44 оригинальных эскиза, выполненных мной ранее.
Каждый файл был размечен кратким описанием композиции и стиля, что позволило нейросети корректно связать визуальные признаки с текстовыми описаниями.
мои эскизы для до-обучения stable diffusion
Результаты генерации
После дообучения модели (на основе Stable Diffusion XL с LoRA-тюнингом) была получена серия изображений, демонстрирующих способность нейросети воспроизводить авторский стиль.
Ворон, промпт — «a tattoo sketches in GRAPHIC styles, a crow» Котенок, промпт — «a tattoo sketches in GRAPHIC styles, sleep kitten»
Доллар, промпт — «a tattoo sketches in GRAPHIC styles, one dollar» Редбул, промпт — «a tattoo sketches in GRAPHIC styles, can redbull energy drink»
Айртон Сенна, промпт — «a tattoo sketches in GRAPHIC styles, Ayrton Senna» Сухоцветы, промпт — «a tattoo sketches in GRAPHIC styles, a bouquet of dried flowers»
Анализ результатов
Модель успешно передаёт ключевые элементы моего художественного стиля:
- Отсутствие четких контуров
- Градиентный переход теней
- Черно-белый стиль
- Абстрактные вытянутые формы
- Графичность
Эскизы получаются в едином стиле: даже при разных текстовых описаниях сохраняется визуальная структура, свойственная моим работам.
Нейросеть корректно интерпретирует запрос в объекты (животных, цветы, бытовые предметы) и адаптирует их к стилистике моей графики.
Погрешности в генерации некоторых объектов я приписываю тому, что нейросеть не видела моих примеров создания определенных объектов, поэтому итоговый результат получается более абстрактным. Но это не является проблемой, так как у меня не было большого опыта рисования тех же банок или купюр, нейросеть может помочь мне с «фундаментом» для эскиза, если потребность в таком появится.
Код
Проект был реализован на Kaggle.com GPU P100
Модель была обучена с использованием: — Stable Diffusion XL — LoRA-тюнинга (500 шагов) — кастомных промптов для каждого изображения
