«Ближе брата и сестры никого нет».
Обычно эта фраза встречается в смешных роликах, но если отстраниться и посмотреть серьезнее, то я нахожу в этой фразе глубокий смысл. Мы с сестрой много раз ссорились и мирились, переживали смешные и грустные моменты, менялись и взрослели.
И я понимаю, что для меня она — самый близкий человек, с которым мы идем всю жизнь бок о бок.
— Юль, а как ты думаешь, мы сестры в каждой вселенной?
— Конечно!!
Спросив однажды об этом сестру, я потом часто вспоминала о нашем разговоре и периодически отправляла ей картинки с подписью «мы».
Именно поэтому я решила, что будет классно и мило сгенерировать изображения нас в разных реальностях.
Для проекта я отобрала 25 наших совместных фотографий и использовала их для обучения LoRA на основе Stable Diffusion.
Примеры фотографий из гугл диска
В каждой новой реальности может меняться одежда, обстановка вокруг и даже форма тела. Мне было интересно проверить, насколько узнаваемыми мы получимся после всех кодов и превращений.
Главное условие серии — мы всегда вдвоем.
Хочется сохранить наш вайб и вопрос «мы?».
Первая генерация показала, что генерация двух людей в кадре оказалась непростой задачей. В следующих генерациях модель миксовала нашу внешность. Я уточнила описание внешности и наше положение в кадре, после чего результат был ближе к исходнику. При этом точного сходства добиться не получилось, но я утвердила четвертый вариант промта
Результат генерации
В целом финальный результат меня устроил, поэтому я перешла на генерацию изображений в различных вселенных.
РусалкиПромт:
«Mermaids»: (
«znvpair sisters as two young adult mermaids together, „
„brunette on the left with green eyes and an emerald fish tail, „
„blonde on the right with pale blue eyes and a pearl blue fish tail, „
„wearing ornate seashell tops, sitting on a seaside rock, „
„tails visible, luminous lagoon, soft sunset, cinematic fantasy“
),
АнимеПромт:
«Anime»: (
«znvpair sisters as two young adult anime heroines, „
„brunette on the left with green eyes and defined eyebrows, „
„blonde on the right with pale blue eyes and light eyebrows, „
„standing together on a neon city street, stylish jackets, „
„expressive distinct faces, hand drawn animation, „
„clean linework, cel shading, vibrant twilight“
),
Игра престоловПромт:
«Game of Thrones»: (
«znvpair sisters, two young adult women in Game of Thrones, „
„brunette companion on the left, green eyes, dark embroidered gown, „
„blonde dragon queen on the right, pale blue eyes, braided hair, „
„ivory royal gown, standing together on a Dragonstone terrace, „
„small dragon perched behind them, cinematic fantasy, soft daylight“
),
ГномыПромт:
«Gnomes»: (
«znvpair sisters as two young adult female garden gnomes, „
„brunette on the left with green eyes, „
„blonde on the right with pale blue eyes, „
„short stature, pointed hats, embroidered tunics, leather boots, „
„standing together beside a mushroom cottage, „
„full body portrait, enchanted woodland, warm light, storybook illustration“
),
Гламурные рыбкиПромт:
«Glamorous Fish»: (
«znvpair sisters as two glamorous anthropomorphic fish, „
„left fish with a brown bob wearing a striped tracksuit, „
„right fish with blonde hair wearing a luxurious burnt orange fur coat, „
„both with exaggerated plump glossy lips, „
„standing together underwater, expressive fish faces, fins, „
„fashion editorial, playful surreal illustration“
),
ВедьмакПромт:
«Witcher»: (
«znvpair sisters as two alluring adult vampire women, „
„brunette on the left with green eyes, black velvet gown, „
„blonde on the right with pale blue eyes, burgundy satin gown, „
„standing close together, elegant fitted bodices, delicate fangs, „
„confident expressions, gothic castle, soft candlelight, cinematic portrait“
),
Русская сказка«Fox and Wolf»: (
«znvpair sisters as two female animal characters, „
„a russet fox on the left with green eyes and a brown forelock, „
„a silver wolf on the right with pale blue eyes and a blonde forelock, „
„sitting close together, fox smaller than wolf, „
„expressive faces, enchanted forest, soft light, detailed storybook illustration“
),
При отборе изображений я обращала внимание на три вещи: присутствие обеих сестер, узнаваемые особенности внешности и соответствие вымышленному миру.
Эти условия не всегда выполнялись, поэтому генерировать изображения приходилось несколько раз. Иногда приходилось изменять промт, а в какой-то раз хватало заново запустить код.
Примеры «неудачных» генераций
Мой проект начался с вопроса «Мы сестры во всех вселенных?» и реальный ответ получить на него невозможно, но с помощью нейросети я смогла представить несколько таких миров.
Показав сгенерированные картинки своей сестре, она утвердительно ответила: «ну мы!!», так что я считаю, что справилась с поставленной задачей.
Инструменты:Stable Diffusion XL 1.0 — базовая модель для генерации изображений.DreamBooth и LoRA — методы персонализации модели на совместных фотографиях.Google Colab — среда для подготовки данных, обучения и генерации.Hugging Face — загрузка базовой модели и хранение обученной LoRA.Помимо обученной модели, в проекте использовалась BLIP для создания черновых подписей к фотографиям. Подписи были проверены и исправлены вручную.
