ИДЕЯ ПРОЕКТА
Я занимаюсь брендом украшений Karmashek уже 4 года и в качестве идеи для проекта решила обучить генеративную нейросеть Stable Diffusion, чтобы создавать изображения украшений в своем стиле. Для этого была использована модель, дообученная на наборе фотографий ожерелий ручной работы с крупными бусинами и характерной цветовой гаммой.
Задача заключалась в том, чтобы модель не просто копировала изображения, а научилась воспроизводить основные визуальные признаки украшений и создавать новые вариации на их основе.
ОПИСАНИЕ ДАТАСЕТА
Для обучения модели был собран датасет, состоящий из изображений ювелирных украшений от бренда Karmashek. Все изображения были отобраны таким образом, чтобы они соответствовали единому визуальному стилю: крупные бусины, разнообразные формы элементов, выраженная цветовая палитра и характерная композиция.
Всего в датасет вошло 40 собственных изображений. При отборе особое внимание уделялось качеству изображений и целостности стиля, чтобы модель могла корректно выделить и усвоить ключевые визуальные признаки.
ПРОЦЕСС ОБУЧЕНИЯ
Для обучения нейросети был использован готовый ноутбук в Google Colab, реализующий обучение Stable Diffusion XL с помощью метода DreamBooth и LoRA.
Датасет с изображениями украшений был загружен в среду и использован для дообучения модели. В качестве ключевого токена применялся текст «aurabead necklace», который позволял модели связывать визуальный стиль с текстовым описанием.
Обучение проводилось с разрешением 1024×1024 и 1000 шагами. В результате модель научилась воспроизводить характерные особенности украшений и генерировать новые изображения на основе текстовых описаний.
РЕЗУЛЬТАТЫ
В результате обучения была получена серия изображений ювелирных украшений, сгенерированных с помощью обученной модели. Все изображения были созданы на основе промтов, отражающих различные вариации стиля и композиции. Модель продемонстрировала способность воспроизводить ключевые характеристики исходного датасета, такие как крупные бусины, разнообразие форм, цветовые сочетания и ручной характер изделий. При этом каждое изображение является уникальной вариацией, а не копией исходных данных.
Промт для генерации изображения — «aurabead layered necklace with beaded lilies, soft pink and green tones, gentle light, romantic aesthetic, high detail»
Промт для генерации изображения — «aurabead necklace with floral beads, aesthetic arrangement, soft shadows, jewelry photography»
Промт для генерации изображения — «aurabead necklace on seaside rocks, ocean background, soft waves, natural light, coastal aesthetic, mermaidcore jewelry photography»
Промт для генерации изображения — «aurabead statement necklace, ocean inspired, glossy beads, blue-green palette, elegant composition, soft shadows, premium jewelry aesthetic, ultra realistic»
АНАЛИЗ РЕЗУЛЬТАТОВ
Модель успешно усвоила ключевые визуальные характеристики исходного датасета. В частности, в большинстве результатов сохраняются крупные бусины, разнообразие форм, а также характерная цветовая палитра, включающая как яркие, так и пастельные оттенки. Модель также демонстрирует способность комбинировать элементы, создавая новые композиции украшений. При этом сохраняется ощущение ручной работы и уникальности каждого изделия, что было одной из основных задач проекта. Отдельного внимания заслуживает вариативность результатов: в зависимости от промпта модель способна адаптировать стиль изображения, изменяя освещение, композицию и контекст.
ОПИСАНИЕ ИСПОЛЬЗОВАНИЯ ГЕНЕРАТИВНОЙ МОДЕЛИ
В рамках проекта была использована генеративная модель Stable Diffusion XL, дообученная с помощью метода DreamBooth с применением LoRA.
Дополнительно в процессе работы применялась модель ChatGPT для формулирования промтов.
