ARTificial: до-обучение генеративной нейросети
Концепция
В свободное от учёбы время я пишу картины. Заниматься живописью осмысленно я начал в 2016 году и с того момента, пройдя через множество экспериментов, пришёл к относительно консистентному стилю.
Выбрав 16 своих работ, созданных с 2022–25 годах, я решил до-обучить нейросеть для генерации изображений в моём стиле.
Исходные изображения для обучения
Основные цели, которые я преследовал:
- Проверка того, насколько мой стиль может быть узнаваемым: если нейросеть сможет выделить характерные элементы и создать на их основе нечто, похожее на мои картины, значит, мой стиль можно назвать довольно стабильным визуально
- С нейросетью можно более свободно и менее затратно экспериментировать: пробовать внедрять в работу нетипичные элементы и смотреть, насколько хорошо они могут вписаться в ту или иную концепцию. Можно также проверять, в какой степени изменения в подходе будут влиять на стиль и его узнаваемость
- Генерация изображений, которые могут стать визуально-стилистической частью новых работ (смысловая часть может также быть частично проработана в рамках уточнений промпта)
Процесс обучения
Загрузка BLIP
Создание пар изображение—подпись
Создание подписей с префиксом
Очистка кэша для освобождения памяти
Параметры для обучения DreamBooth
Подключение к Stable Diffusion XL
Пример промпта
Результаты
Я старался использовать минимальные дополнения к промпту, задающему стиль. Это было сделано для того, чтобы сохранить больший элемент случайности в генерациях.
Промпт: abstract painting in MIKDYAD style black background red and yellow splashes with figurative surreal elements semiotics
Первая генерация: не зная, какого рода изображение я получу, я кратко описал в промпте главные стилистические черты, которые отличают мои работы визуально.
1. Чёрный фон — black background (как правило я использую чёрный фон) 2. Пятна выплеснутой краски, соседствующие с искажёнными фигуративными элементами — splashes with figurative surreal elements 3. В конце промпта добавлено слово «семиотика» — semiotics (для акцента на знаках, являющихся важной частью моих работ)
Промпт: abstract painting in MIKDYAD style blue background apollo lettering ancient rome
Здесь я вспомнил о художнике Сае Твомбли и попробовал без прямого указания его имени добавить ассоциацию с его работами в рамках моего стиля. Для этого в промпте я указал тематическую привязку к Древнему Риму, культура которого интересовала художника, и упоминание леттеринга, который Сай Твомбли часто использовал в своих работах — apollo lettering ancient rome. На мой взгляд, изображение, получившееся в результате, удачно передаёт задуманное.
Сай Твомбли. Без названия, 1971
Промпт: abstract painting in MIKDYAD style black background moscow nightlife
Для этой генерации я попробовал ввести краткую свободную ассоциацию — moscow nightlife. Это не конкретный образ какого-либо объекта, и мне было интересно, как нейросеть «увидит» жизнь ночной Москвы через призму моего стиля. Итоговый результат меня несколько удивил — я ожидал более яркой работы, однако характерные элементы, которые могли бы проассоциироваться с подобным запросом, присутствуют. В их числе, например: пятно, напоминающее луну; красный цвет, часто связываемый с образом Москвы; «беспокойные» каракули, напоминающие оживлённое движение.
Промпт: abstract painting in MIKDYAD style pink floyd bright cosmic elements semiotics
При создании своих картин я часто ищу вдохновение в музыке. Так, возможно — я не уверен, что запрос был проинтерпретирован верно — выглядит абстракция, связанная с группой Pink Floyd.
Промпт: abstract painting in MIKDYAD style bright colorful background red rusty elements semiotics
Ради эксперимента я попробовал изменить параметр цвета фона, поменяв его с чёрного на красный. Результат довольно сильно схож с одной из 16 работ, использованных при до-обучении нейросети.
Михаил Дядченко. Firebird, 2024–25
Промпт: abstract painting in MIKDYAD style black background pink splash with figurative flowery elements semiotics
При попытке ограничить палитру одним цветом — розовым — я получил довольно интересный результат, однако он походил на незаконченную работу, поэтому для следующей генерации я откорректировал промпт.
Промпт: abstract painting in MIKDYAD style flowery black background redpink splash with figurative elements semiotics
Промпт почти повторяет предыдущий, однако я изменил порядок слов и добавил в запрос слово redpink. Так я пытался ввести в розовый цвет некие градации и, не выходя за рамки палитры, придать картине глубину. Этот результат оказался действительно более интересным.
Промпт: abstract painting in MIKDYAD style pink flowery bright fireworks elements lettering
Здесь я попробовал ввести в промпт конкретную сущность — фейерверки — для внедрения в изображение. Нейросеть добавила элемент с сохранением его узнаваемости — образ считывается. При этом изображение фейерверков вписалось в стиль картины и гармонично сочетается с окружающими пятнами и фактурами.
Промпт: abstract painting in MIKDYAD style flowery background brightest green and pink splash with figurative elements semiotics
Добавлением в промпт слова brightest я хотел добиться увеличения насыщенности (яркости) цвета. Благодаря этой доработке, а также из-за усиливающего ассоциацию с летней природой слова flowery, вышел действительно яркий, солнечный результат.
Промпт: abstract painting in MIKDYAD style deep brightest indigo and pink splash with figurative elements semiotics
Для последнего изображения серии я применил контраст deep/brightest. Я хотел добиться глубины и многослойности изображения при сохранении яркой цветовой палитры. Результат, на мой взгляд, получился довольно убедительным.
Вывод
Результаты получились довольно интересными — их действительно можно использовать для работы. Благодаря получившимся изображениям также подтвердилась (как мне кажется) гипотеза о том, что стиль моих работ может быть узнаваем: нейросеть смогла его деконструировать для последующих генераций, которые смогли образовать цельную серию.
Код проекта
Описание применения генеративной модели
Проект создан с использованием ИИ в рамках курса, программа которого ориентирована на решение задач средствами искусственного интеллекта.
Были применены:
- Для генерации изображений — Stable Diffusion XL с DreamBooth и LoRA
- Для генерации подписей к изображениям датасета — BLIP
- Для улучшения качества изображений — Topaz Gigapixel AI
