Кот Локи в мультивселенных

Мультфильмы бывают пластилиновыми, нарисованными от руки, пиксельными или вырезанными из бумаги, но герой в них обычно один и тот же: смелый, обаятельный и немного нелепый.

Идея проекта — показать, каким был бы мой кот Локи, если бы он попал в разные мультвселенные. Для этого я дообучила нейросеть на его фотографиях и попробовала перенести его в восемь анимационных стилей: от аниме до чёрно-белого мультфильма.
Главный вопрос проекта: останется ли кот узнаваемым, когда вокруг него меняется весь мир, вместе с материалом, цветом и даже законами рисования.

Для генерации изображений была выбрана нейросеть Stable Diffusion XL, которую я дообучила методом DreamBooth с LoRA. Модель целиком не переобучается: к ней добавляется небольшой адаптер, который запоминает конкретного кота.
Для дообучения я взяла 28 собственных фотографий кота и обрезала их до формата 1:1.

В датасете есть крупные планы морды, кот в разных позах и при разном освещении. К каждому фото нейросеть BLIP сгенерировала подпись, а в её начало добавлялась фраза «a photo of zwx cat». Редкое сочетание zwx модель связывает именно с моим котом.

Сначала я проверила, запомнила ли модель кота. Для этого использовались максимально простые промпты, похожие на подписи из датасета: «кот лежит на кровати», «кот зевает», «портрет кота», «кот на подоконнике».

Разница видна сразу. Обычная модель рисует случайных котов: серых полосатых, чёрно-белых. Обученная модель на всех картинках рисует моего кота: рыжий окрас с полосками, светлые глаза, розовый нос и большие уши. Она даже перенесла детали из дома: кирпичную стену и пёструю лежанку с фотографий.

Кот узнаётся уже на 500 шагах. При этом версия на 500 шагах рисует более живые и разнообразные кадры, а версия на 1000 шагов начинает копировать датасет: снова появляются кирпичная стена и лежанка из моих фото, а шерсть становится «пережжённой», будто картинку пересушили фильтром.

Переобучение сразу проявилось, когда я попробовала отправить кота в мультвселенные с помощью коротких промптов вида «zwx cat in claymation style» или «zwx cat in anime style». Модель выдала восемь почти одинаковых фотографий кота крупным планом. Стиль пробился только в фон: пластилиновые кубики, пиксельный шум, красные мазки. Модель так хорошо запомнила фотографии, что на полной силе обучения просто игнорировала просьбу о стиле.

Для итоговой серии использовались подробные промпты с описанием техники анимации, материала, света и сюжета и негативный промпт «фотография», чтобы модель не возвращалась к фотореализму.

Каждая вселенная описывалась через технику и эпоху анимации, без названий студий и мультфильмов. Для каждой я сгенерировала по три варианта и выбрала лучший.

В других вселенных стиль оказался сильнее кота. В пластилиновом мире модель вылепила серо-синие фигурки: представление нейросети о «пластилиновом коте» перебило черты моего. В чёрно-белом мультфильме 1930-х кот превратился в типичного танцующего персонажа той эпохи: главная примета кота — рыжий цвет — в чёрно-белой графике просто невозможна. В пиксельной игре кот уменьшился до нескольких пикселей, и узнать его нельзя.