ИДЕЯ
В 2024 году завершился сериал, ставший всемирно популярным и глубоко обожаемым мировым сообществом. ARCANE полюбился зрителям трагичной человечной историей, захватывающими саундтреками, потрясающим уровнем проработки — любовь создателей пронизывает каждый кадр и сквозит через экран.
Однако есть деталь, которая бросается в глаза еще до сюжетных поворотов — уникальный визуальный стиль этого мира. Создатели Riot в сотрудничестве со студией Fortiche изобрели что-то совершенно новое в своей сфере, совместив всем привычное 3D с рисоваными текстурами: штришки, мазки, переходы красок — все это видно как на пейзажах, объектах, так и на персонажах.
Идея проекта — попытка воспроизвести уникальный визуальный стиль анимационного сериала с помощью инструментов генеративного ИИ. Проект исследует, насколько точно и выразительно можно передать характерные черты оригинальной стилистики через дообучение модели LoRA на кастомном датасете. Дополнительно ставится задача сравнить полученные результаты с эстетикой первоисточника и оценить потенциал нейросетей в создании авторских визуальных решений.
ДАТАСЕТ
Датасет/Главные героини
Загрузка датасета
Для обучения модели было отобрано 81 оригинальное изображение, каждое из которых представляет персонажа крупным планом. Такой подход позволяет максимально точно передать особенности черт лица, текстуры и характерную стилистику прорисовки. В выборку вошли как ключевые герои сериала, так и второстепенные персонажи, появляющиеся лишь в отдельных сценах, — это обеспечило разнообразие данных.
Датасет/Примеры персонажей
Все изображения были сначала обрезаны вручную (чтобы в кадре было лицо), а затем с помощью кода кадрированы к единому размеру 512 на 512 пикселей.
ПРОЦЕСС ОБУЧЕНИЯ
Создание текстовых описаний изображений
После загрузки изображений следовал этап создания автоматических промптов, где под префиксом «character portrait in ARCANE style» к каждому персонажу создавалось краткое текстовое описание.
Код для обучения
Подключение Hugging Face и, наконец, модель готова учиться у студии Fortiche их тонкому искусству создания неповторимых персонажей!
ГЕНЕРАЦИЯ ИЗОБРАЖЕНИЙ
Подготовка к генерации
После подключения всех необходимых библиотек наконец можно приступить к созданию персонажей!
Первые результаты генераций
По какой-то причине первые генерации случились в ярко-розовых оттенках, несмотря на то, что в датасете не было преобладания такого цвета.
Однако сам результат оказался более чем успешным! Сгенерированные персонажи сохранили узнаваемые черты визуального стиля ARCANE: hand painted текстуры, акварельные градиенты света и тени, выразительная геометрия лиц, подчёркнутая резкими мазками. Образы получились не только атмосферными, но и стилистически цельными — каждый из них словно мог бы органично вписаться в мир сериала.
Примеры промптов
Генерация персонажей
Генерация персонажей
Далее было принято решение поэкспериментировать с цветовой гаммой генерируемых изображений. Для этого в текстовые промпты начали добавляться уточнения вроде «natural colors» и «cinematic lighting». Это позволило добиться более сбалансированной палитры: изображения стали выглядеть натуральнее и глубже. Со временем модель начала выдавать удачные цветовые решения даже без подобных уточнений, что говорит о её адаптации к заданному стилю.
Генерации персонажей по людям
Конечно, как не попробовать сгенерировать себя и своих близких! Сложность заключалась в том, чтобы попасть в сходство по текстовому запросу. Тем не менее, благодаря настройке и корректировке промптов, удалось повторить некоторые ключевые особенности внешности, что добавило интересный и уникальный элемент в процесс генерации.
Промпт для генерации обычного парня
