Проект сделан в рамках работы с нейросетью Stable Diffusion. Задачей было создать работы в стиле Тима Бертона.
Концепция
Мультипликационный стиль Тима Бертона достаточно узнаваем: готический, мультяшный, выдержанный в мрачной цветовой палитре. Практически все персонажи имеют определенную схожесть: длинную шею и выраженные большие глаза, a объекты кругловатую, необычную форму.
Тим Бёртон, Майк Джонсон «Труп невесты», 2005 г. Тим Бёртон «Франкенвини», 2012 г.
Стиль отлично подходит для детских и взрослых мультфильмов-ужастиков. Задачей проекта было подхватить главные черты персонажей художника и обучить нейросеть создавать новые образы и миры в его стилистике. Так же посмотреть, получится ли создать новые кадры с уже существующими персонажами.
Тим Бёртон, Майк Джонсон «Труп невесты», 2005 г. Тим Бёртон «Франкенвини», 2012 г.
Серия работ
С помощью нейросети было сгенерировано несколько новых персонажей и пространств. А также были созданы кадры, повторяющие сюжет одного из мультфильмов художника.
При попытках сгенерировать достаточно известный сюжет свадьбы по мульфильму «Труп невесты», нейросеть удачно повторила образы главных персонажей Тима Бертона.
Удалось сгенерировать новых персонажей-девочек, дочек главной героини. Одна из них играет в компьютер, а три маленьких близняшки готовятся ко сну. Персонажи отличимы по возрасту: дети и взрослые наделены своими чертами лица в соответствии с их годами жизни.
На картинках сгенерированы новые образы чудовищ. Промпта для генерирования конкретных образов не было, нейросеть сама придумала персонажей исходя из датасета.
Можно заметить, что нейросеть хорошо смогла обучиться создавать животноподобных персонажей. Однако он не копирует их полностью, а добавляет черты и детали героев Тима Бертона. Сверху сгенерированы изображения кота, поедающего кишки за обедом и «страшной» собаки в лесу. Однако картинка справа больше подходит под привычную цветовую палитру художника.
Различные пространства: закат на лугу, рассвет на оживленной улице. Читается стиль художника, самые узнаваемые объекты— сухие ветви деревьев и дома обтекаемой формы.
Было сгенерировано новое пространство: кошачья кофейня с котом-баристой. Однако цвета получились достаточно позитивными для стиля Тима Бертона (скорее всего из-за попытки создать не ночную а утреннюю атмосферу), хоть в то же время и не сильно яркие, сдержанные.
Здесь представлены эскизы татуировок с животными в стиле Тима Бертона, также выполненные в узнаваемой цветовой палитре, как в мультике «Франкенвини».
Ход работы
Для обучения нейросети было выбрано около 25 работ Тима Бертона. Предварительно работы были переделаны в квадратный формат и приведены к единому расширению. Код писался в kaggle.
Первым делом происходит проверка gpu, далее установка всех нужных библиотек: bitsandbytes, diffusers а также lora, которая выполняет основную роль в обучении модели.
Следующий этап — импорт датасета, форматирование картинок и создание директория. Импорт модели BLIP и функции caption images.
Добавляется префикс «picture in Berton style» и создается токен на huggingface для дальнейшего использования кода.
На этом обучение модели заканчивается: заняло оно около 45-ти минут. Далее происходит генерация картинок. В первой части промпта используется обязательный префикс «picture in Berton style».
Лучше всего нейросеть научилась генерировать различных животноподобных существ, которые могли бы присутствовать в мультиках Тима Бертона. Скорее всего потому, что в датасете было не так много персонажей-людей. Получилось изобразить уже известных персонажей художника и по их прототипу создать новых, не только взрослых, но и детей. Также хорошо улавливается природа, помещения на картинках, в особенности деревья и дома.
В большинстве работ хорошо передана мрачная цветовая палитра, однако все же в некоторых использованы слишком яркие оттенки. Но это скорее связано с тем, что были попытки создать не только ночные но и утренние композиции.
Работы, не вошедшие в серии
Хуже всего нейросеть рисовала части тела персонажей и часто не правильно генерировала нужное количество. У многих вышло по две руки, две ноги или вовсе несколько туловищ. Иногда использовались слишком яркие оттенки для стиля художника, например, где изображена крыса.
Итог
Создать картинки в стиле Тима Бертона получилось: на работах нейросети он достаточно узнаваем, как и окружение, так и персонажи. Также нейросеть смогла повторить образы главных героев из мультфильма «Труп невесты».
Код
Ссылка на используемые работы для обучения, код в kaggle и colab. Код написан в kaggle, здесь же генерировались картинки, далее был импортирован в colab для скачивания итоговых работ.
Используемые модели
