Исходные данные для обучения
Для обучения нейросети использовались иллюстрации из книги Metamorphosis Insectorum Surinamensium, 1705 года. Автор — художница и натуралист Мария Сибилла Мериан. Изображения были взяты с сайта Public Domain Review. Эти материалы не защищены авторским правом, так как с момента смерти автора прошло более трехсот лет.Датасет состоит из 45 изображений, 512 × 512 px
Параметры обучения
resolution = 512 train_batch_size = 2 max_train_steps = 500 checkpointing_steps = 250Результаты и визуальный анализ
Модель переняла стиль оригинальных работ: умеет рисовать растения, плоды и насекомых.Работает лучше, если в промте указать не семейство (ladybug), а вид (Seven-spotted Ladybug). С точными указаниями модель лучше воспроизводит детали и очертания объектов изображения.
Слева — Butterfly, справа — Swallowtail butterfly
Из-за квадратного кадрирования иллюстраций для подготовки датасета композиция у генераций хромает. Модели не хватает информации о пространственном балансе, который присутствовал в оригинальных прямоугольных иллюстрациях, что приводит к неестественным обрезам элементов на сгенерированных кадрах. Генерации скорее походят на паттерны, чем на композиционно законченные работы.
Слева — иллюстрация из датасета до кадрирования, справа — генерация
Модель не переняла высокую детализацию оригинальных иллюстраций. Изображения из датасета — гравюры, а результат генераций больше похож на акварель
Слева — кадр иллюстрации из датасета, справа — генерация
Модель плохо поняла разницу между растениями и плодами. Плоды часто имеют витиеватый контур, характерный листьям и лепесткам.
Некоторых насекомых изначальная модель SDXL плохо знает, от того не может их нарисовать.
Вариации генераций
Red Wood Ant and Peach
Western Honey Bee and Domestic Apple
Seven-spotted Ladybug and Sweet Orange
Галерея
House Fly and Garden Strawberry
Old World Swallowtail and Cavendish Banana
Migratory Locust and European Pear
Oriental Cockroach and Pineapple
caterpillar and lemon
