1.1 Первый инструмент генерации анимации на базе искусственного интеллекта: Massive
Властелин колец: Возвращение короля / 2003 / Питер Джексон
История искусственного интеллекта в анимации началась с «Властелина колец».
Когда выяснилось, что для съемок масштабных батальных сцен с десятками тысяч воинов недостаточно даже целой армии Новой Зеландии, инженер и программист Стивен Реджелос разработал программу Massive — первую в истории индустрии систему генерации анимации на базе искусственного интеллекта.
Massive — первое программное обеспечение для симуляции массовок.
Генератор армии «Combat Sword Agent» / Massive software
Пример работы с генератором Massive в Maya
Для участников массовки, программа генерирует уникальное поведение, которое можно контролировать и гибко настраивать с помощью системы нодов и других инструментов программы. ИИ учится на загруженных в него качественных записях мокапов (захвата движения с реальных актеров).
Генерация толпы через интуитивное управление через систему нодов
Генератор дорожного движения «Car Agent»
Генератор паникующей толпы «Mayhem Agent» / генератор массовки на стадионе «Stadium Agent» / генератор спокойной толпы «Ambient Agent»
Сгенерированная анимация толпы на стадионе // Игра престолов /2015/ Дэвид Наттер
«Combat Sword Agent»
Хоббит: Битва пяти воинств / 2014 / Питер Джексон
«Horse & Rider Agent»
Властелин колец: Возвращение короля / 2003 / Питер Джексон
Сейчас в портфолио у Massive десятки проектов для кино, анимации и рекламы.
Проекты, использовавшие технологию Massive: Хроники Нарнии, 2005 / Пираты карибского моря, 2003-2017 / Аватар, 2009-2023 / ВАЛЛ-И, 2008 / Мстители: Война бесконечности, 2018 / Бэтмен, 2022
Властелин колец: Возвращение короля / 2003 / Питер Джексон
1.2 Инструмент генерации в 2D анимации: HOUDOO
Искусственный интеллект меняет и сферу 2D анимации. Французская студия «Les Films Du Poisson Rouge» — один из пионеров в своей области и разработчик системы HOUDOO, инструмента достраивающего промежуточные кадры между ключевыми.
Программа была задействована в производстве анимационных фильмов «Клаус» (2019) и «Красная черепаха» (2016).
Тестовая анимация, демонстрирующая работу системы с сайта Les Films Du Poisson Rouge
Использование Houdoo сокращает время создания анимации в 4 раза, а работает система следующим образом: Отрисовываются два ключевых кадра. Программа видит их как отправной пункт (А) и конечную точку (Б). Следуя этой логике, промежуточные кадры между А и Б достраиваются автоматически.
Демонстрация работы Houdoo: первое изображение — первая поза, точка А для программы; второе изображение — вторая поза, точка Б
Демонстрация работы Houdoo
Тестовая анимация, демонстрирующая работу системы с сайта
Les Films Du Poisson Rouge
Тестовая анимация, демонстрирующая работу системы с сайта
Les Films Du Poisson Rouge
Красная черепаха /2016 / Михаэль Дюдок де Вит
Клаус / 2019 / Серджо Паблос
Тестовая анимация, демонстрирующая работу системы с сайта
Les Films Du Poisson Rouge
Тестовая анимация, демонстрирующая работу системы с сайта
Les Films Du Poisson Rouge
1.3 Технологии захвата движения на базе ИИ
Рококо / Инструмент создания ИИ мокапов
Если вы не Бенедикт Камбербэтч, и вас не позвали играть Смауга в модном костюме, а анимация на персонажа все-таки необходима, то можно воспользоваться инструментарием AI мокапов.
Бенедикт Камбербэтч на съемках «Хоббита» в специальном костюме для захвата движения
DeepMotion, Plask, Radical, Open pose, Рококо — только часть программ позволяющих превращать видео в анимацию. Интегрированный в системы искусственный интеллект смотрит на простое MP4 видео и сам определяет основные точки для захвата движения. В итоге он выдает анимацию, которую затем можно перенести на любого персонажа.
Пример работы мокапа на базе ИИ / Radical / BlenderDiplom on YouTube
Мокап на базе искусственного интеллекта удобен для создания быстрой анимации. Однако, без специального снаряжения результат скорее всего выйдет далеким от идеала.
На сайте Рококо есть инструментарий для записи мокапа с видео, но результат будет лучше, если купить их перчатки (и все остальное).
Wonder Studio
Среди ИИ мокапов, действительно интересен Wonder Studio — целая VFX студия «на диване».
Презентация Wonder Sudio
Этапы по которым работает Wonder Studio: Motion Capture -Character Pass — Alpha Mask — Clean Plate — Camera Track — Final Render
Презентация Wonder Sudio
Проверка инструмента от JL Mussi на YouTube
Из-за несовпадения пропорций человека с референса и подгруженного персонажа, контур изображения начинает гулять и плавать. Особенно заметно это на персонажах кардинально отличающихся от человека по пропорции.
Размытый контур, неизбежный артефакт
Вечная проблема мокапа (особенно если у вас нет специального костюма и оборудования) — некорректный контакт рук и ног с землей
ZooBuilder
Внутриигровой скриншот
ZooBuilder — программа, находящаяся в разработке лаборатории Ubisoft. Принцип работы такой-же как и у других ИИ мокапов: искусственному интеллекту показывают видео со зверушкой, а она выдает готовую для использования анимацию. Программа может сократить время создания анимации на 30%.
Тест программы
1.4 Инструмент генерации анимации на базе библиотеки мокапов: MOGEN
Говоря о мокапах, если рассмотренное выше довольно экспериментально, то этот инструмент правда работает и неплохо заменяет Миксамо, библиотеку готовых анимаций.
Миксамо позволяет увидеть жизнь персонажа вне работы / Captain Kot с анимацией от Миксамо
В отличие от Миксамо, Mogen, искусственный интеллет от Моторики, дает возможность контролировать параметры движения и генерировать уникальные сочетания. Программа обучается на базе записанных мокапов.
Ваш персонаж на 100% огр? Или на 100% устал? А может 50 на 50?
Смешав параметры между собой мы можем получить уникальную походку или бег уставшего огра, сконфуженного джентльмена или напуганной девочки подростка.
Количество настраиваемых параметров превышает сотню
1.5 Генерация анимации в режиме реального времени
Управление персонажем в реальном времени с помощью фазово-функциональной нейронной сети / Phase-Functioned Neural Networks for Character Control / Yoshiboy2 на YouTube / 2017
А что насчет игр? Игры это уникальное пространство в котором совершенно иные требования к анимации и ее возможностям. Персонаж управляется игроком в реальном времени, именно игрок решает куда направить персонажа и корректная адаптация к окружающему миру просто необходима. Так же как и адекватная бесшовная комбинация анимаций.
Стандартная анимация
Анимации могут выглядеть неубедительно и механически. Происходит это из-за того что между собой анимации комбинируется через простой сплайн. Создается ощущения перетекания из одного движения в другое: например персонаж плавно перетекает из анимации бега в анимацию остановки или разворота.
Но научить адекватным анимационным переходам персонажа можно через нейросеть (предварительно обучив ее саму).
Анимация с вовлечением ИИ, а именно нейросети / Phase-Functioned Neural Networks for Character Control
Нейросеть позволяет добиться более гармоничной, естественной анимации
Сравнение работы анимации на базе фазово-функциональной нейросети (слева) и адаптивной нейросети (справа)
В зависимости от целей проекта меняется и методолгия работы с нейросетью.
1.6 Инструменты генерации анимации по текстовому запросу
С помощью текста теперь можно генерировать не только картинки.
MOOTION — это Discord-бот, который предлагает быстрый и доступный способ создания анимации. Он обрабатывает текстовый запрос за пару минут и выдает два варианта анимации, которые можно экспортировать и использовать с любым персонажем. MotionGPT — будущий генератор анимации из текста от DeepMotion (сейчас находится в разработке).
Презентация MotionGPT от DeepMotion
Сильное заявление из презентации будущей технологии MotionGPT
1.7 Первая программа со встроенным ИИ ассистентом: Cascadeur
Концепт-арт проектов Banzai Games
Изначально Cascadeur создавался как внутренняя разработка для ускорения процессов сложной анимации для 2D файтингов. Теперь это популярный софт и возможное будущее игровой анимации.
Программа сама определяет физику естественного движения: с автопозингом при перемещении например головы или торса, двигаются и другие части тела, подстраиваясь / действие автоматической физики
Генерация элементов вторичной анимации
Автопозинг, автоматическое создание правдоподобной физики, возможность добавления вторичной анимации (так называемых доходов, захлестов) — все это возможно благодаря встроенному в программу искусственному интеллекту, многократно ускоряющего большинство задач, стоящих перед аниматорами.
Cascadeur исключает монотонность из работы аниматора, наделяет его свободой быть художником и хореографом.
Использование Cascadeur в производстве
Cascadeur Animation Reel / 2023
Cascadeur Animation Reel / 2023
1.8 Инструмент создания ИИ анимации через «обучение с подкреплением»
Заставить персонажа двигаться можно с помощью еще одного оригинального способа: обучение с подкреплением (Reinforcement learning). Вот например: искусственный интеллект сам учится ходить и бегать.
ИИ соревнуются в беге / Проект AI Warehouse на YouTube
Обучение с подкреплением — метод машинного обучения, который позволяет искусственному интеллекту обучаться, взаимодействуя с окружающей средой. В контексте анимации персонажей, это означает, что ИИ может автоматически создавать анимацию, основываясь на заданных параметрах и правилах.
Например, если мы хотим, чтобы персонаж прыгал, мы можем задать высоту, на которую он должен прыгнуть, и длительность прыжка. Затем ИИ будет автоматически создавать анимацию прыжка, учитывая эти параметры.
Приз за лучший перфоманс получает ИИ, который учится летать как Железный человек.
Gonkee на YouTube
На самом деле обучение с подкреплением может использоваться для создания реалистичного движения. Только вот займет такой процесс много времени.
Например, при создании анимации бега, алгоритм может обучаться на большом количестве видео с реальными людьми и использовать эту информацию для создания адаптивных анимаций.
ИИ учится ходить / Проект AI Warehouse
