В современном искусстве граница между традиционными техниками и цифровыми технологиями стирается. Мой проект экспериментирует с передачей уникального авторского стиля искусственному интеллекту. Цель была научить модель понимать фактуру, цветовую палитру и композиционные приемы, характерные для моих работ.
Подготовка датасета: язык визуальных образов
Для обучения я использовала 16 собственных картин. Нейросеть исключительно на моем визуальном языке. Каждая картина была приведена к единому размеру 512×512 px, снабжена текстовым описанием, которое включало триггер-слово shura_style и ключевые характеристики (mixed media painting, textured canvas, vibrant colors, collage art). Именно текстовые метки помогают модели связать визуальный образ с понятием мой стиль.
Изображения, на которых проводилось обучение
Техническая реализация: обучение
Стандартные инструменты для обучения LoRA часто требуют специфических зависимостей (torchao, triton), которые конфликтуют с облачными средами вроде Google Colab или Kaggle. Вместо использования готовых скриптов, я реализовала кастомный цикл обучения на PyTorch.
Архитектура:
Использована базовая модель Stable Diffusion 1.5.Метод:
Fine-tuning (дообучение) весов UNet. Я заморозила все слои модели, кроме ключевых блоков внимания (to_q, to_k, to_v, to_out), чтобы модель училась именно стилистическим паттернам, а не переписывала всю сеть.Параметры:
Learning rate = 1e-5, 5 эпох, batch size = 1. Использование float32 вместо float16 обеспечило стабильность обучения на бесплатном GPU T4.
Этот подход позволил обойти технические ограничения платформ и получить полный контроль над процессом.
Результаты: переобучение
Первые попытки генерации показали классическую проблему малого датасета — переобучение. Модель начала копировать конкретные объекты (лица, фигуры) с исходников, теряя общую стилистику.
Решением стало использование Classifier-Free Guidance с коэффициентом 7.5 и тщательный подбор негативных промптов (negative_prompt: «realistic photo, smooth digital art, human face»). Это заставило модель фокусироваться на текстуре и цвете, а не на содержании.
Итоговая серия
В результате получилась серия работ, демонстрирующая успешную трансферцию стиля: нейросеть научилась не просто копировать сюжеты, а воспроизводить сам визуальный язык. Характерную пластику линий, фактуру мазков акрила и эффект рваной бумаги. Модель уверенно оперирует моей цветовой палитрой, создавая яркие сочетания контрастных цветов, как в фигуративных образах, так и в абстрактных композициях. Особенно точно передается техника коллажа и работа с освещением.
Результирующая серия изображений
Вывод
Этот эксперимент показал, что даже при ограниченном датасете и технических ограничениях облачных сред можно добиться узнаваемого результата, если подойти к обучению не как к использованию готового инструмента, а как к исследовательской задаче.
https://www.kaggle.com/code/shurickthediff/notebook51e028e6b8
