Календарь продолжается — эксперимент по обучению Stable Diffusion XL на моей авторской серии из 22 календарных иллюстраций, посвящённых праздникам и дням рождения известных личностей.
В основе проекта моя серия из 22 квадратных иллюстраций для календаря, последовательно распределённых по датам с 23 января по 13 февраля. Поводами для изображений становились праздники, памятные даты и дни рождения известных людей.
Главной задачей исходной серии было не буквальное изображение события, а поиск простой визуальной метафоры. Каждый сюжет строился вокруг одного образа или действия: предмет мог менять свою функцию, увеличиваться в масштабе, соединяться с другим объектом или превращаться во что-то неожиданное.
Я хотела проверить, сможет ли модель подхватить не только ограниченную палитру, неровную линию и условных персонажей, но и сам принцип проекта — построение изображения вокруг одной простой визуальной метафоры.
Календарь праздников, иллюстрации с помощью нейросети и человека
Исходная серия
Календарь праздников, ручные иллюстрации
Для обучения я использовала 22 собственные иллюстрации размером 700 × 700 px.
Все изображения были созданы до начала работы с нейросетью и объединены общей визуальной системой: ограниченной палитрой, плоскими цветовыми пятнами, тёмным неровным контуром, упрощёнными персонажами и лаконичной композицией.
Несмотря на разные сюжеты, в серии сохраняется общий принцип: в центре изображения обычно находится одна визуальная ситуация, которая должна считываться быстро, но не быть полностью буквальной.
Календарь праздников с 23 января по 13 февраля, ручные иллюстрации
Подготовка датасета
В датасет вошли только отдельные квадратные иллюстрации без календарной сетки, дат и типографики. Это было сделано специально, чтобы модель обучалась именно на изображениях, а не на оформлении календаря.
Для каждого изображения была автоматически создана текстовая подпись с помощью BLIP. К ней добавлялся общий маркер стиля:
metaphorical flat illustration in KSCALSTYLE style
Автоматические подписи оказались не всегда точными. Особенно сложно модели было описывать изображения, построенные на метафоре: она часто буквально перечисляла предметы и персонажей, не считывая отношения между ними.
Этот этап сам по себе показал разницу между распознаванием объектов и пониманием визуальной идеи.
Обучение модели
Для проекта использовалась Stable Diffusion XL с методом DreamBooth LoRA.
LoRA позволяет дообучить базовую модель на собственном наборе изображений, не переобучая Stable Diffusion целиком. В результате создаётся отдельный небольшой файл весов, который затем подключается к исходной SDXL для генерации.
Обучение проводилось в Google Colab на GPU T4.
Основные параметры первого обучения:
— датасет — 22 изображения;
— разрешение обучения — 512 × 512 px;
— 500 шагов;
— learning rate — 1e-4;
— mixed precision — fp16;
— использовались индивидуальные captions;
— промежуточные checkpoint сохранялись после 250 и 500 шагов.
После 500 шагов был получен файл LoRA pytorch_lora_weights.safetensors.
Генерация
Сравнение стилистики ручных иллюстраций и нейросети
После обучения я стала использовать маркер KSCALSTYLE в новых промптах.
Первые эксперименты показали интересную особенность. Модель довольно быстро переняла внешние признаки серии — цвета, характер линии и тип персонажей, — но сама по себе не всегда продолжала принцип визуальной метафоры.
Например, если в запросе было только название праздника, модель могла создавать декоративную композицию из многочисленных тематических символов.
Поэтому структура промптов постепенно изменилась. Вместо общего: a metaphorical illustration for Valentine’s Day in KSCALSTYLE style
я стала описывать конкретную визуальную ситуацию: two small figures assembling one heart from two separate pieces или:
a person climbing a ladder toward a small moon Дополнительно в промптах использовались формулировки: simple composition, one central visual metaphor, white background. Так генерации стали ближе к композиционному принципу исходной серии.
Итоговая серия
Что модель смогла перенять
Наиболее устойчивым результатом оказалась палитра. В новых изображениях постоянно возвращаются розовый, сиреневый, жёлтый и тёмно-синий цвета исходного проекта.
Хорошо сохранились и другие формальные признаки:
— плоские цветовые пятна;
— тёмный рисованный контур;
— упрощённые человеческие фигуры;
— отсутствие реалистического объёма;
— намеренно немного наивная пластика;
— крупные предметы и изменение привычного масштаба.
В некоторых изображениях модель довольно точно продолжает и композиционный принцип серии: одна фигура взаимодействует с одним сильно увеличенным предметом, и именно это взаимодействие становится метафорой.
Что оказалось сложнее
Хуже всего модель воспроизводит не визуальный стиль, а логику метафоры.
Она может прекрасно повторить палитру и линию, но при слишком общем запросе заменяет метафору набором очевидных символов. Например, тема любви легко превращается в большое количество сердечек, а тема космоса — в декоративный набор планет.
Таким образом, обучение на авторской серии не означает, что модель автоматически усвоила способ придумывания образов.
Для получения наиболее убедительных результатов метафору приходилось сначала сформулировать текстом, а затем просить модель выразить её в изученном визуальном языке.
Это стало одним из основных выводов проекта.
Вариативность результатов
