Концепция
Пример изображения-основы для генерации (мудборд проекта)
KiteMind — образовательно-исследовательский хаб, объединяющий науку, творчество и культуру воздушных змеев.
Цель эксперимента — обучить генеративную модель визуальному языку существующего бренда и проверить, сможет ли она создавать новые материалы, сохраняя узнаваемую эстетику проекта.
Вместо генерации изображений только с помощью текстовых запросов я использовала fine-tuning Stable Diffusion XL через DreamBooth LoRA.
Подготовка датасета
Основа для генерации
Для обучения был сформирован датасет из 14 авторских изображений: графических плакатов, коллажей и визуализаций образовательной продукции KiteMind. Изображения были приведены к квадратному формату 1024 × 1024 px с сохранением пропорций. Для каждого изображения было подготовлено текстовое описание (caption), характеризующее композицию, объекты, цвета и материалы. В описания был включён уникальный токен kitemindstyle, который использовался при последующей генерации.
Таким образом, модель получала и визуальные примеры, и соответствующие им текстовые характеристики.
Процесс обучения
Для адаптации модели применялась технология LoRA (Low-Rank Adaptation), позволяющая обучать небольшие дополнительные матрицы весов вместо полного обновления параметров нейросети. Обучение проводилось в Google Colab с использованием PyTorch, Hugging Face Diffusers и Accelerate.
Загрузка базовой модели SDXL.
Подготовка изображений и текстовых описаний.
Обучение LoRA на авторском датасете.
Использование LoRA позволило адаптировать модель к небольшому датасету и сохранить результат без необходимости экспортировать всю SDXL.
Генерация изображений и разработка промптов
После обучения модель тестировалась на новых сюжетах, отсутствовавших в исходной выборке.
Галерея результирующих изображений
В текстовых запросах отдельно задавались содержание сцены, материалы, цветовая палитра, композиция и стиль изображения. Также использовались негативные промпты для исключения нежелательных элементов: коллажности, деформированных объектов, лишних персонажей и неестественных деталей.
Для генерации использовались следующие параметры:
Разрешение: 512 × 512 пикселей
Количество шагов генерации: 25–30
Степень соответствия текстовому запросу: 6,5–7,0
Размер пакета: 1 изображение за генерацию
Ключевое слово активации: kitemindstyle
Случайное начальное значение: фиксировалось для воспроизводимости отдельных экспериментов
Итеративная генерация
Первые результаты показали, что модель успешно воспроизводит цветовую гамму и материальность бренда, но не всегда правильно интерпретирует объекты.
Результирующие изображения
Например, при генерации образовательного набора вместо конструктора воздушного змея появлялись простые картонные цилиндры. А сцена с детьми первоначально превращалась в коллаж из нескольких изображений.
Результирующее изображение
Для улучшения результатов применялась итеративная промпт разработка.
Общие формулировки заменялись конкретными описаниями объектов и их взаимного расположения. Дополнительно уточнялись количество персонажей, форма воздушного змея, ракурс камеры и характер освещения. Это позволило улучшить композиционную целостность и узнаваемость объектов без повторного обучения LoRA.
Результат
Итоговая серия объединена принципом Create — Learn — Fly, отражающим образовательную концепцию KiteMind.
CREATE
