Original size 1140x1600

Обучение генеративной нейросети для рисования в стиле Ким Джанг Ги

PROTECT STATUS: not protected

Идея проекта

В основе проекта — творчество Ким Джанг Ги, известного иллюстратора и карикатуриста. Его работы интересны тем, что создавались без предварительных набросков карандашом, при этом часто изобилуя деталями. Мне стало любопытно, как с этой стилистикой и таким уровнем детализации справится Stable Diffusion. Для обучения нейросети был собран датасет включающий в себя 46 работ Ким Джанг Ги.

Некоторые работы Ким Джан Ги, на которых обучалась нейросеть

big
Original size 1115x754

Одна из работ Ким Джан Ги, на которых обучалась нейросеть

0
1/8

Некоторые работы Ким Джан Ги, на которых обучалась нейросеть

Результаты и описание применения генеративной модели

Original size 2480x2480

Генерация, созданная по промту «photo collage in Kim Jung Gi style, girl pilot surrounded by giant frogs»

Original size 2884x1940

Итоговая серия генераций в стиле Ким Джанг Ги

Результаты генераций меня приятно удивили. Не смотря на небольшой датасет, многие стилистические особенности сохранились. Особенно хорошо удалось передать технику мастера — рисунок кистью и тоновые заливки. При этом, генерации получились и композиционно похожи на оригинальные скетчи Ким Джанг Ги. Сверхдетализованные фрагменты чередуются с более условными, повторяя композиционный ритм исходных изображений.

Original size 2480x2480

Генерация по промту «photo collage in Kim Jung Gi style, tiger on a motorcycle»

Но и не удалось избежать ожидаемых недочетов. Нейросеть путается в деталях, при ближайшем рассмотрении детализация зачастую оказывается кашей из тоновых пятен.

Original size 1880x362

Загрузка датасета в google collab и его распаковка. Добавление команды, позволяющую использовать кириллицу. Команда, ускоряющая обучение нейросети.

Original size 983x412

Запуск обучения нейросетевой модели. Постоянным промтом в моем случае становится «photo collage in Kim Jung Gi style», который используется для вызова созданной модели.

Для генераций использовались различные чекпоинты. В проекте представлены генерации на 4 из них. На 250 и 500, а также 500 и 0.4, 500 и 0.8.

Original size 807x266

Чекпоинт 250

Генерации на чекпоинте 250; Промты: «photo collage in Kim Jung Gi style, Girl with a Tiger», «photo collage in Kim Jung Gi style, Pig and Musician Girl»

Original size 812x227

Чекпоинт в 500 и 0.8

Original size 2048x2048

photo collage in Kim Jung Gi style, pretty young girl tattoo artist in leather jacket tattooing a pig

Original size 796x227

Чекпоинт 500 и 0.4 обычной неройнки

Генерации чекпоинта в 500 и 0.4; Промты: «photo collage in Kim Jung Gi style, Pig in Space», «photo collage in Kim Jung Gi style, Woman on a motorcycle with an anthropomorphic tiger in a biker suit»

Original size 1125x580

Сохранение модели на Hugging Face

Вывод

Обучение нейросетевой модели для меня оказалось успешным. Получилось передать стилистические особенности авторского стиля Ким Джанг Ги. При этом рассматривать детали не менее интересно во многом из-за погрешностей генерации.

Обучение генеративной нейросети для рисования в стиле Ким Джанг Ги
Project created at 10.04.2025
creativecity.academy
A joint project of the HSE ART AND DESIGN SCHOOL and the Institute for the Development of Creative Industries, focused on working with Russian regions. The Creative City digital platform is a media outlet that aggregates projects related to territorial branding, a community of professionals, and a service that allows you to create local websites, work with the local identity and popularity of cities and places. Study the map of the Creative City. Get acquainted with the projects that have already been implemented. Add your... Show more
events
travelling
history
art and design
We use cookies to improve the operation of the HSE website and to enhance its usability. More detailed information on the use of cookies can be fou...
Show more