Примеры исходных изображений
Один из ближайших моих членов семьи, который прошел со мной все детство, был кот Барсик. Со 2 августа 2018 его, к сожалению, с нами нет. Однако, будучи котом, он не успел покататься на скейтборде или полетать на самолете.
Визуализации этих неисполнимых достижений посвящена серия изображений.
Фрагмент кода с промптом к изображению 1
1. Барсик космонавт
Фрагмент кода с промптом к изображению 2
2. Барсик восходит на Эверест
Фрагмент кода с промптом к изображению 3
3. Барсик смотрит на поле у трактора
Фрагмент кода с промптом к изображению 4
4. Барсик на столе в офисе
Фрагмент кода с промптом к изображению 5
5. Барсик на море
Фрагмент кода с промптом к изображению 6
6. Барсик в самолете
Фрагмент кода с промптом к изображению 7
7. Барсик чинит спорткар
Фрагмент кода с промптом к изображению 8
8. Барсик отдыхает на красной дорожке
Фрагмент кода с промптом к изображению 9
9. Барсик на ветке дерева
Фрагмент кода с промптом к изображению 10
10. Барсик на скейтборде
Благодаря тому, что нейросеть обучалась на живых фотографиях Барсика, итоговые изображения также получились живыми, будто снятыми в ходе реального движения.
Таким образом, с помощью обученной ии получился вымышленный фотодневник кота.
Принцип работы кода
Для дообучения и генерации изображений использована Stable Diffusion.
Для обучения нейросети я взяла 50 фотографий Барсика, загрузила их в разрешении 512×512 как датасет, а также подключила его к блокноту.
Фрагмент кода
Далее были проверены GPU и установлены зависимости, а также подключен датасет подгруженных фотографий Барсика.
Также были созданы описания изображений, которые впоследствии используются для обучения ии.
Затем модель обучается с инструментом LoRa.
Фрагмент кода
Затем модель подгружается на huggingfacehub, где доступна для использования и генерации новых изображений