Концепция
MiniPixelDream — это автоматизированный мини-проект по дообучению генеративной модели Stable Diffusion XL (SDXL) с использованием метода LoRA (Low-Rank Adaptation) для генерации pixel art изображений.
Основная идея: Создать легкую адаптацию модели (LoRA) для конкретного стиля (pixel art), позволяющая генерировать изображений в выбранном стиле без необходимости полного переобучения SDXL.
Примеры изображений из датасета
Примеры изображений из датасета
Принцип работы
Примеры изображений из датасета
Процесс обучения:
-Разархивирование датасета и подготовка выборки. -Генерация метаданных и BLIP captions для каждого изображения. -Запуск тренировки LoRA -Генерация изображений по промпту
Результирующая серия изображений
После обучения LoRA и генерации по сценам получена серия изображений:
Результат генерации
Все сцены выполнены в едином стиле pixel art, с характерной пиксельной графикой, яркими цветами и минималистичной детализацией, что сохраняет визуальную целостность проекта.
prompt = «pixelartstyle stylized pixel art illustration, limited color palette, blocky shading, retro game look, snowing meadow with black flowers and white flowers, melancholic atmosphere» # @param
prompt = «pixelartstyle stylized pixel art illustration, industrial spaceport on a vast desert planet, ships taking off» # @param
Ещё результаты
Итоговые изображения полностью соответствуют цели проекта — унифицированный стиль при разнообразных сюжетах, что демонстрирует способность LoRA адаптировать SDXL к конкретной стилистике.
Использование Generative AI
Помимо обученной LoRA-модели для генерации изображений, в проекте использовались нейросети для вспомогательных задач:
BLIP (Salesforce/blip-image-captioning-base) Генерация описаний (captions) для исходных изображений, улучшение качества prompt’ов. ChatGPT / GPT-помощник (опционально) Формирование описания проекта, идей, комментариев к визуальным результатам.
Ещё один результат