Идея проекта
Идея проекта — создать серию изображений, где классические спокойные пейзажи (тихие озера, умиротворенные закаты, безмятежные леса) визуально нарушаются беспокойными, хаотичными волнами, которые не соответствуют общей атмосфере покоя. Предстояло обучить нейросеть Stable Diffusion создавать этот эффект контраста между внешним спокойствием и частным беспокойством природы.
Исходные изображения для обучения
Исходные изображения для обучения
Для проекта были взяты источники, которые содержат изображения произведений искусства, находящиеся в общественном достоянии. Их можно использовать без ограничений.
Источник — The Metropolitan Museum of Art Public Domain (Open Access)
Результирующая серия изображений
Для обучения модели стилю был нужен датасет из квадратных изображений (1:1) хорошего качества, было отобрано около 20 картин.
После загрузки изображений в этом коде использовалась строка instance_prompt, которая должна включать в себя ключевую фразу «photo in nineteenth century style» для того, чтобы модель генерировала новое, уникальное изображение, соответствующее как описанию, так и стилю из обучающей выборки.
Изменив исходный код под концепцию проекта, я сгенерировала первую пару изображений, однако при первой попытке идею сохранить не удалось.
При первой попытке создать бурный поток нейросети не удалось передать этот промпт в рисунок, и общая атмосфера генерации оставалась умиротворенной.
1 prompt = «photo in nineteenth century style, forest lake, strong wind, lakes waters are violently turbulent, A landscape that fits the category of oil painting in 19th-century aesthetics»
image = pipe (prompt=prompt, num_inference_steps=30).images[0] image
Далее в промптах я буду пытаться делать более сильный акцент на волны, и уже при второй генерации удается выполнить задачу. Однако, если обратить внимание на стиль изображений, они кажутся мыльными нежели похожими на мазки маслом.
2 prompt = «photo in nineteenth century style, serene Norwegian fjord with steep cliffs, the water below is disturbed, stormy sea, waves, oil painting»
image = pipe (prompt=prompt, num_inference_steps=30).images[0] image
Для того чтобы придать изображению эффект мазков и масла, вводятся уточняющие промпты «oil painting», однако результат все еще визуально не передает технику художников до конца. Генерация выглядит слишком выглажено.
3 prompt = «photo in nineteenth century style, a serene alpine lake surrounded by misty mountains at golden hour, the water surface is violently churning with chaotic, restless stormy waves, oil painting»
image = pipe (prompt=prompt, num_inference_steps=25).images[0] image
4 prompt = «photo in nineteenth century style, countryside river with waves winding through green meadows, sheep grazing, oil painting, textured, visible brushstrokes»
image = pipe (prompt=prompt, num_inference_steps=30).images[0] image
Наконец добавив к промпту «textured, visible brushstrokes», итоговое изображение начинает включать в себя разного размера мазки, что придает картине текстурность и ощущение работы кистью.
5 prompt = «photo in nineteenth century style, а peasant field, warm amber light, a river runs through, stormy water, oil painting texture, brush texture» image = pipe (prompt=prompt, num_inference_steps=25).images[0] image 6 prompt = «photo in nineteenth century style, а field, peasants are busy in the distance, warm amber light, a river runs through, stormy water, strong oil painting texture, brush strokes texture»
image = pipe (prompt=prompt, num_inference_steps=35).images[0] image
В ходе работы над проектом была реализована концепция генерации изображений, сочетающих спокойные пейзажи 19 века с визуально контрастирующими беспокойными волнами. Путем нескольких попыток получилось, что без сильного акцента в коде на бурные потоки, волны модель по умолчанию генерирует исключительно спокойные, гладкие водные поверхности. Это возможно объясняется особенностями обучающих данных: в датасете преобладают изображения со спокойной водой, тогда как сильные волны, штормовое море и хаотичная водная стихия встречаются значительно реже.
