Обучение модели генерации изображений под определенную стилистику

В наше время все больше задач подкрепляется использованием технологий искусственного интеллекта. В нашей профессии это также важный этап, ведь многие задачи можно выполнять с помощью генераций (избежать проблем с авторским правом, ускорить процесс работы и другие задачи). Именно поэтому в этом проекте мы посмотрим как обученная генеративная модель справляется со следованием одной стилистике в создании иллюстраций.

В качестве примера стиля я использовала работы уральского художника Вити Повезло. Эти работы наполнены эмоциями и красками. Я выбрала его не спроста, такой стиль в искусстве часто коверкается массами, его приписывают к детским рисункам, где множество ярких необычных персонажей и замысловатые формы привычных нам объектов. Тем не менее именно такие картины позволят понять, сможет ли обученная модель Stable Diffusion точно передать характер живописи автора и сохранить профессиональную руку художника или все-таки «уйдет в детские каракули».

В итоговой серии генераций мы сможем увидеть как справляется модель с изложенной выше задачей.

В работах Вити Повезло использованы яркие краски, сами картины очень притягательны, а также в большинстве своем неоднородны. Такой подход помогает нам погрузиться в другой необычный мир. Персонажи зачастую искажены, имеют сходства с животными, но приближены к мистике. Почти все объекты одушевлены и даже цветочки или тучки нам передают свои эмоции. Несмотря на такую нереалистичную картину, работы проработаны и имеют немало важных деталей, но с акцентом на происходящее. Пространство сзади зачастую является заливкой, где также могут располагаться тучи, цветы, молнии и прочие природные объекты.

В качестве исходного датасета были использованы 19 работ художника Вити Повезло. Они были предварительно подготовлены и приведены к общему формату 512×512. Так можно минимизировать риски возникновения неточностей при обучении и генерации, а также упростить работу с исходниками.

1. Ставим необходимые библиотеки.

2. Загружаем исходные картинки, на которых будет проходить обучение модели.

С помощью BLIP идет автоматическое добавление описания картинки из исходного датасета, что упрощает обучение.

3. Создаем свой токен для подключения Stable-Diffusion внутри проекта.

4. Делаем выгрузку модели LoRA в созданный репозиторий на Hugging Face.
5. Обучаем модель с использованием всех необходимых данных: автор, базовая модель, промпт для тренировки, используемый VAE и др.

6. Генерация итоговых изображений на основе датасета с помощью модели Stable Diffusion.

С помощью обученной генеративной модели была создана серия изображений животных в стиле исходного материала (по мотивам работ Вити Повезло).

В итоговой серии хорошо передана яркость и красочность изображений. Животные получились необычной формы, но с сохранением узнаваемости. Модель не очень хорошо поработала над лицами, но это выглядит вполне уместно. Сами формы выглядят как ручной рисунок, что также является хорошей чертой. Добавлены элементы природы на фон (цветы на картине с крокодилом) как и на изображениях в датасете. Пара итоговых работ со слоном также сохранила общую цветовую и стилистическую направленность, тем не менее нейросеть несколько усложнила работу, что больше походит на неординарный принт внутри силуэта слоника, что выглядит довольно необычно. Тем не менее генерации получились яркими, необычными и запоминающимися, что является как мне кажется основной общей чертой.