о художнике
whatooneee — художница, которая работает с виртуальными ностальгическими образами прошлых десятилетий, воплощая их с помощью аэрозолей и акрила на холстах и трехмерных предметах
@whatoonee, фото из социальных сетей художницы
художница создаёт графичные, стилизованные работы в духе видеоигр 2000-х с упрощёнными формами и плоскими цветовыми блоками
@whatoonee холст, акрил
её стиль отличают контрастные цвета, резкие светотени, аэрозольные градиенты и брызги, добавляющие динамики
ироничные поп-культурные отсылки и абсурдные детали подчёркивают сатирический характер её творчества
@whatoonee холст, акрил
@whatoonee холст, акрил
описание применения генеративной модели
обучение генеративной нейросети Stable Diffusion
цель проекта состоит в исследовании способности нейросети глубоко анализировать сложные визуальные элементы стиля художника и воссоздавать их в своих работах
процесс обучения модели
я работала в Kaggle с моделью Fine-tuning Stable Diffusion XL и методами DreamBooth, LoRA, для обучения использовалось 26 квадратных картинок, разрешение — 512×512 px
датасет изображений изначально состоял из изображений разных разрешений, которые были в формате PNG. Для быстрого изменения разрешений и изменения формата с PNG на JPG я обратилась к нейросети Grok
Grok предоставил мне 2 скрипта: один в автоматическом режиме изменил формат изображений на JPG, а второй изменил разрешения изображений на 512×512, эти манипуляции с изображениями были выполнены с помощью python и встроенной в него библиотеки PIL, которая имеет обширный функционал для работы с изображениями
в процессе выполнения ячеек кода возникали непредвиденные ошибки, которые я также решала с помощью Grok, помимо этого я полагалась на HuggingFace (для генерации токена) и BLIP (для генерации подписей к изображениям)
обучение модели на собранном датасете в результате заняло около часа и состояло из 1000 обучающих шагов, изначально я взяла датасет изображений в разрешении 1024×1024, но время генерации меня не устроило, поэтому пришлось изменить разрешение исходных файлов с целью сократить время генерации
для обучения модели я собрала датасет из 27 работ whatoonee, которые наиболее ярко и точно отражают стиль художницы
@whatoonee холст, акрил
посмотреть notebook с текстом можно здесь
серии сгенерированный изображений
в первой серии изображений я попыталась воссоздать основную стилистику работ whatoonee
серия сгенерированный изображений с людьми
промты
— a painting in WHATOONEE style, blonde in a tight fuchsia dress taking selfies in front of a dumpster — a painting in WHATOONEE style, nurse with a syringe —a painting in WHATOONEE style, a fat man without a T-shirt stands on the balcony —a painting in WHATOONEE style, granny with a bat in her hand
несмотря на небольшой датасет и короткие промты, Stable Diffusion достаточно точно попадает в атмосферу и стиль рисования художницы, даже повторяя текстуру холста
серия сгенерированный изображений с людьми
промты
— a painting in WHATOONEE style, a black man is leashing a bull terrier wearing a spiked collar — a painting in WHATOONEE style, A Japanese man in a retro electronics store sits in headphones and eats noodles with chopsticks
из недочетов могу отметить, что на многих изображениях нейросеть плохо справлялась с генерацией ног и рук, реже — тел и лиц людей
также, общая цветовая гамма на всех сгенерированных изображениях немного темнее, чем у художницы, хотя заметны попытки добавить яркие цветовые акценты
серия сгенерированный изображений с людьми
промты
— a painting in WHATOONEE style, grandma's in the kitchen putting poison in the pie — a painting in WHATOONEE style, a girl in a short skirt and T-shirt with long-heeled shoes is sitting at a bus stop and it's snowing around her — a painting in WHATOONEE style, a painting in WHATOONEE style, a girl in a leopard-print floor-length dress stands on a nightclub stage and sings jazz —a painting in WHATOONEE style, jock at the gym pumps his arm with a kettlebell that says 40 kilograms
продолжая исследовать стиль whatoonee, я заметила, что художница в своих работах обращается к эстетике, вдохновленной средневековой культурой: замки, рыцари и мистические легенды
вторая серия сгенерированных изображений отсылает к этой теме
@whatoonee холст, акрил
серия сгенерированнных изображений в стиле castle core
промты
— a painting in WHATOONEE style, three gnomes in colored caps in the garden at night eating pizza — a painting in WHATOONEE style, a knight in armor sits on a beach chair drinking a cocktail
данная серия изображений очень хорошо попала в атмосферу работ художницы, отсылающих к эстетике castle core, но анатомия персонажей по-прежнему оставляет желать лучшего
