Идея проекта
Проект посвящён обучению нейросети распознаванию и генерации визуальных текстур, найденных в повседневной домашней среде. В отличие от классических датасетов, включающих природные или городские поверхности, данный проект фокусируется на микромире квартиры — тех деталях, которые обычно остаются незамеченными.
Современный человек окружён огромным количеством визуальной информации, однако редко обращает внимание на фактуру привычных вещей. Дерево стола, ткань дивана, поверхность хлеба или запотевшее стекло в ванной — всё это обладает сложной структурой, напоминающей природные или абстрактные формы.
Проект предлагает рассмотреть дом как самостоятельную визуальную экосистему. Каждая поверхность здесь может быть интерпретирована как уникальный паттерн: трещины на дереве — как рельеф местности, ткань — как поле, капли воды — как атмосферные явления.
Цель проекта — собрать набор изображений текстур (датасет), снятых в домашних условиях, и обучить модель Stable Diffusion XL воспроизводить и трансформировать эти текстуры в абстрактные визуальные композиции. В результате нейросеть сможет генерировать новые изображения, основанные на материальности повседневной среды, но выходящие за пределы её прямого восприятия.
Исходники
В основу датасета для обучения нейросетевой модели легли личные фотографии текстур в моей квартире.
Были подобраны разнообразные образцы: древесина, краска на стенах, плитка в ванной, подушки и фарфоровые фигурки, металлические абажуры и медные лампы,
Часть датасета для обучения
Перевод изображений формата HEIC в формат, который будет читаемый для Python (jpg)
Каждое изображение было приведено к единому формату 1:1 и использовано для обучения LoRA-надстройки модели SDXL
Код для подключения датасета и создания json файла
Процесс обучения
После настройки окружения и установки необходимых зависимостей была загружена базовая модель Stable Diffusion XL. Параметры обучения были сконфигурированы таким образом, чтобы по завершении ноутбук автоматически сохранял веса LoRA, а также промежуточные чекпоинты каждые 300 шагов — это позволяет в любой момент возобновить обучение с нужной точки, продолжить с последнего чекпоинта или откатиться к предыдущему.
Финальный вид обучения LoRA
Итоговые серии панно
Код для генерации изображений
На этом этапе были сгенерированы первые изображения
В первом промте мне хотелось сделать единые по материалу панно (древесина/железо/ткань). Что у нейросети хорошо получилось
Промт: abstract collage, patchwork of wood, ultra detailed, 8k
Далее я написала промт, который бы активно совмещал мои объекты на едином панно и это именно те результаты, к которым я стремилась в данном работе.
Promt: abstract collage in HOMETXTR style, patchwork of, ceramics, glass, iron or fabric textures, mixed media art, rich warm colors, ultra detailed, 8k
Итоговая серия состоит из генераций, выполненных в стиле моих текстурных работ, однако не воспроизводящих их напрямую. В серии прослеживаются характерные материальные сочетания — дерево, стекло, ткань — переработанные моделью в новые композиции.
Примечательно, что в ряде изображений нейросеть воспроизвела фактуры и цветовые решения, близкие к оригинальному датасету, что свидетельствует об успешном усвоении визуального стиля.
Главным в этой серии становится не точность воспроизведения, а сохранение узнаваемой интонации исходных текстур: фактурности, слоистости, приглушённой палитры и ощущения материальности.
Вывод
Обучение генеративной модели на текстурах домашнего пространства показало, что даже ограниченный и локальный датасет способен дать выразительные и разнообразные результаты. Нейросеть успешно улавливает повторяющиеся паттерны, структуру материалов и особенности освещения, превращая их в абстрактные визуальные формы.
Проект демонстрирует, что художественная ценность может быть обнаружена в самых обыденных объектах, если изменить способ наблюдения за ними. Домашняя среда перестаёт быть фоном и становится источником визуального исследования.
Однако для повышения качества генерации и разнообразия результатов требуется:
расширение датасета (больше материалов, ракурсов и освещения), добавление контрастных текстур (гладкие vs шероховатые, сухие vs влажные), использование дополнительных инструментов (например, ControlNet или LoRA для более точного контроля структуры),
В рамках проекта использовались две модели. Основной стала Stable Diffusion XL с дообучением через DreamBooth LoRA — на её основе проводилось обучение на моём датасете текстур и последующая генерация итоговой серии. В качестве вспомогательного инструмента использовался ChatGPT — для помощи с написанием и отладкой Python-кода.
