Обучение генеративной нейросети под стиль Gacha Life

Gacha Life — это компьютерная ролевая игра, в которой есть возможность создать своего персонажа и играть от его лица. У игры есть узнаваемая стилистика, которой я обучила нейросеть. Датасет состоял из 14 изображений. Он послужил основой для серии картинок с вариациями персонажей по запросам.

Общий стиль — аниме и чиби персонажи, с разными атрибутами, такими как одежда, цвет глаз, цвет и форма волос. Каждую составляющую можно выбрать из списка и создать желаемый образ.

Для обучения нейросети я использовала Google Colab. Я ориентировалась на лекцию из курса и пошагово написала код.

Первым делом я загрузила датасет в Google Colab и установила необходимые библиотеки.

После этого я посмотрела превью загруженных картинок.

Я запустила BLIP чтобы он сгенерировал подписи к картинкам из датасета.

BLIP описал картинки и я добавила к ними «art in GACHA LIFE style» для дальнейшей работы.

Дальше прошел главный процесс — обучение модели. Я воспользовалась токеном с HuggingFace, а после ждала 40 минут завершения выполнения кода.

После я успешно сгенерировала первое изображение, подтвердив работу модели.

Я задавала нейросети различные промпты, чтобы автоматически создать задуманного персонажа. В целом, программа справлялась отлично, особенно учитывая, что датасет был небольшим.

Для разнообразия я попробовала дать нейросети имя уже существующего персонажа, чтобы проверить, что она будет делать, если не распознает запрос. Результат не похож на заданного персонажа, но искусственный интеллект не сломался и сгенерировал рандомного мальчика.

После неудачи я решила описать того же персонажа в промпте, чтобы посмотреть, сделает ли нейросеть что-то похожее на оригинал. Я сделала две генерации по одному промпту, результат очень отдалённо напоминает оригинал, что было ожидаемо. Также нейросеть почему-то добавила хвост.