Описание
«Зелёная память» — эксперимент по обучению генеративной нейросети Stable Diffusion XL на авторских фотографиях природы.
Основой проекта стала коллекция из 35 фотографий, сделанных во время наблюдений за окружающей средой. В кадрах — травы, цветы, деревья, водоёмы, парковые пространства и природные детали.
Цель эксперимента — исследовать, насколько генеративная модель способна перенять визуальные особенности личного фотоархива и использовать их при создании новых изображений.
В отличие от обычной генерации по текстовому запросу, здесь нейросеть дополнительно обучается на конкретном наборе изображений. Это позволяет исследовать, как индивидуальный визуальный материал влияет на результат работы модели.
Датасет
Для обучения был собран датасет из 35 авторских фотографий природы размером 1024 × 1024 пикселя.Коллекция объединяет разные природные сюжеты: цветущие растения, травянистые пространства, деревья, лесные участки, водоёмы и городскую растительность.Особое внимание в фотографиях уделяется естественным цветам, разнообразию растительных форм, фактурам листьев и цветов, а также свету.В датасет вошли не только природные пейзажи, но и изображения растений в городской среде. Это позволяет модели работать с разными типами композиций — от отдельных цветов до более сложных пространств.Все изображения датасета являются авторскими фотографиями и использованы для обучения с соблюдением требований задания.
Примеры изображений из датасета
Обучение модели
Для проекта использовалась генеративная модель Stable Diffusion XL 1.0.
Обучение проводилось методом DreamBooth LoRA
В качестве вычислительной среды использовалась платформа Kaggle с видеокартой NVIDIA Tesla T4.
Параметры обучения:— Базовая модель: Stable Diffusion XL 1.0
— Метод: DreamBooth LoRA
— Объём датасета: 35 фотографий
— Исходное разрешение: 1024 × 1024 пикселя
— Разрешение обучения: 512 × 512 пикселей
— Количество шагов: 500
— Размер пакета: 1
— Накопление градиентов: 4
— Скорость обучения: 0.0001
— Точность вычислений: FP16
— Оптимизатор: 8-bit AdamW
— Seed обучения: 42
Для каждого изображения были автоматически созданы текстовые описания с помощью модели BLIP. К ним добавлялась общая формулировка nature in SVETA style, которая использовалась как идентификатор обучаемого стиля.
После подготовки данных было проведено обучение LoRA. В результате получен файл pytorch_lora_weights.safetensors, содержащий обученные параметры.
Для генерации новых изображений LoRA была подключена к базовой модели Stable Diffusion XL.
Результат
Итогом проекта стала серия из шести изображений, посвящённых различным формам природного пространства.
Для всех генераций использовался общий стилевой идентификатор nature in SVETA style. Сюжеты задавались отдельными текстовыми запросами.
- prompt = «nature in SVETA style, wild meadow with flowers, soft morning light, detailed plants, natural landscape»
2. prompt = «nature in SVETA style, close-up of delicate wildflowers growing among green grass, soft natural sunlight, detailed petals and leaves, realistic nature photography»
- prompt = «nature in SVETA style, lush green forest with tall trees, dense vegetation, soft sunlight filtering through leaves, peaceful natural atmosphere, realistic nature photography»
4. prompt = «nature in SVETA style, peaceful small pond surrounded by lush green grass and wildflowers, reflections of trees in still water, soft natural daylight, realistic nature photography»
- prompt = «nature in SVETA style, narrow winding path through a lush green meadow, overgrown with tall grass and delicate wildflowers, soft sunlight, peaceful atmosphere, realistic nature photography»
6. prompt = «nature in SVETA style, close-up of delicate green leaves, wild grasses and tiny plants, sunlight shining through translucent leaves, intricate natural textures, soft background, realistic macro nature photography»
Для создания изображений использовалась Stable Diffusion XL с обученной LoRA.Все запросы содержали фразу nature in SVETA style. Менялись только сюжеты: луг, цветы, лес, пруд и другие природные объекты.Параметры генерации: 30 шагов, guidance scale 7.5, коэффициент LoRA — 0.7.Дополнительная обработка изображений не применялась.
Сравнение
На примере первых двух изображений можно отметить сохранение нескольких характерных черт исходного датасета.
Прежде всего это преобладание природных зелёных оттенков. Растительность занимает почти всю композицию, создавая ощущение плотного, непрерывного пространства.
Второй важный элемент — разнообразие растительных форм. На изображениях присутствуют многочисленные стебли, листья, травы и небольшие цветы, которые формируют многослойную структуру.
Третья особенность — фотографический характер изображения. Генерации стремятся воспроизвести естественное освещение, глубину пространства и неоднородность растительности.
На исходных фотографиях видны яркие садовые цветы, густая растительность и элементы городской среды.На сгенерированных изображениях растения выглядят более однородно: преобладают зелёные травы, мелкие цветы и мягкое солнечное освещение. Нейросеть сохранила природную тематику, но создала новые композиции.Различия между генерациями:
Первое изображение показывает широкий план цветущего луга. Цветы небольшие и равномерно распределены среди травы.На втором изображении цветы находятся ближе к зрителю. Белые лепестки и жёлтые сердцевины выделяются на зелёном фоне.Обе работы выполнены в похожей цветовой гамме, но отличаются масштабом и композицией.
Выводы
В результате обучения на 35 авторских фотографиях была создана LoRA для генерации природных изображений.
Модель позволила получить серию из шести работ, объединённых растительной тематикой и близкой цветовой гаммой. При этом изображения различаются композициями и масштабом.
Проект показывает, как собственные фотографии можно использовать для создания новой визуальной серии с помощью нейросети.
Использовались нейросети:
1. GPT Chat для проверки кода