5 апреля в пространстве CREATIVE HUB спикеры поговорили в рамках конференции об искусственном интеллекте в саунде, использовании алгоритмов продвижения музыки, алгоритмизации любых процессов, связанных с созданием музыки и её постпродакшном.
В формате TED talk были представлены доклады от ведущих экспертов из академической, исследовательской и бизнес среды. Мы посмотрели проекты с музыкальным ПО, использующим любые алгоритмы, прослушали доклады о произведениях и жанрах цифровой культуры, связанной с ИИ и алгоритмами.
В панельной дискуссии «Использование алгоритмов и генеративных техник в современной музыке» эксперты обсудили актуальные темы развития саунд индустрии.
Завершилось событие презентацией Михаила Мясоедова курса ДПО Max. Визуальное программирование синтезаторов и эффектов.
Первым в TED talk «Проекты в сфере алгоритмического звука» выступил тимлид команды Генеративная музыка в SberDevices Алексей Минин.
SberDevices - подразделение Сбера, которое занимается разработкой девайсов и различных систем искусственного интеллекта абсолютно в разных направлениях. У SberDevices есть также отдел управления экспериментальных систем машинного обучения, в котором работает команда генеративной музыки.
Для начала Алексей ввел в курс дела и дал историческую справку и определение понятия «искусственный интеллект».
Впервые этот термин озвучил еще в 1950-х годах американский информатик Джон Маккарти.
Искусственный интеллект — это область науки и технологий, занимающаяся созданием систем для решения интеллектуальных задач, которые подразумевают использование некоего мышления для их решения.
Поэтому различают прикладной искусственный интеллект или общий, сильный ИИ. Прикладной решает конкретные задачи и более ограничен. Сильный ИИ — это система, которая сможет решить абсолютно разные в неограниченном количестве задачи (как человек).
Все люди сейчас так или иначе пользуются искусственным интеллектом, который зашит в смартфоны и другие девайсы. Но Алексей сделал акцент на ИИ в контексте музыки.
Генеративная музыка - это музыка, которая создается без композиторского участия человека. То есть автоматически компьютер или другая система создает музыкальные композиции.
Для работы с ИИ есть такие варианта, как писать алгоритмы для каждого стиля музыки или обучить нейросеть делать это самостоятельно, предварительно загрузив в нее какое-то количество мелодий.
«Мы можем рассматривать музыку в виде звуковых волн, которые имеют амплитуду, частоту и прочие характеристики или можем ее рассматривать как нотный текст, который записан в определенном специфическом словаре».
Алексей Минин: «Превалирующий подход в генерации музыки сейчас звучит как text-to-music. То есть вы текстом, привычным вам образом описываете, что вы хотите получить».
Раньше генерация одного 2 или 3-минутного трека шла несколько часов, а сейчас это занимает минуты.
Кроме скорости, такие системы на основе ИИ очень хорошо попадают в ожидания. При условие, что было загружено в нейросеть достаточно аналогичного материала, на базе которого можно было создавать новое.
Один из главных минусов такой генеративной музыки - отсутствие простора для творчества. Что-то можно переделать, но в основном это музыка, созданная ИИ, а не человеком.
Сложно переписать такую музыку потому, что ИИ работает поэтапно. Первая программа получает текст, который преобразует его в форму понятную нейронке. Следующий шаг выполняется другой программой, которая пишет ноты. И только третья программа преобразует ноты в звуковые волны.
После насыщенной теоретической части Алексей предложил аудитории поиграть в игру, цель которой угадать, какой музыкальный отрывок написан исключительно человеком без применения ИИ-технологий.
Алексей Минин: «Комбинация различных подходов дает нам замечательный результат. Мы можем нагенерить кусочки аудио-сэмплов и вставить в свой микс. Можем нагенерировать гармонии, нужной тональности треки и все это подсвести. Комбинируя те и иные подходы в различных сервисах, мы достигнем того, что у нас появляется мощный инструмент».
Разработчик отечественного производителя синтезаторов SOMA Lab Вадим Минкин рассказал о том, как создавать функциональные секвенции. Вадим разработал такие устройства, как Ornament 8, Metaconformer, Simplex FM.
Сейчас существуют 3 вида нотной записи информации: — нотная запись, — трекерная запись, — пиано-ролл запись.
На примере растровой и векторной записи изображений Вадим объяснил, как работает синтезатор. Ornament 8 это устройство, которое позволяет функциональным образом синтезировать не только растровые секвенции, в которых нужно постоянно перечислять параметры. Задавая диапазон каждой ячейке синтезатора, можно миксовать ритмы и таким образом создавать новые электронные мелодии.
Посмотреть и послушать, как работает синтезатор Ornament 8, можно в трансляции конференции.
«Ornament позволяет именно интуитивным образом через вращение ручек, через соединение модулей, через создание какой-то логики их взаимодействия получать новые ритмы. Их можно потом сохранить в компьютер и дальше модифицировать, но именно этап творчества, импульс вдохновения, так скажем, он позволяет получить».
Вадим Минкин: «Когда я разрабатывал свой первый синтезатор Ornament 8, у меня в голове крутилась такая мысль: я хочу создать устройство, позволяющее музыканту, управляя этим устройством, синтезировать хотя бы ритмические рисунки».
Руководитель отдела саунд-дизайна и голосовых технологий для электронного транспорта в Атоме Гренков Александр рассказал, как компания разрабатывает сейчас новый электромобиль на базе КАМАЗа.
В связи с диджитализацией автомобиль становится не только средством передвижения, но и личным гаджетом, который человек может настраивать под себя.
Александр поделился, что саунд-дизайнер сейчас делает звуковую айдентику для современных автомобилей. Прорабатывает комфортную среду для потенциального пользователя электрокара, с точки зрения саунда.
«Комфорт, безопасность, адаптивность, самовыражение - все эти вещи мы также реализуем в виде звука».
Гренков Александр: «У нас достаточно большое количество электрического транспорта появилось, он бесшумный, и возникла такая задача, что транспорт должен звучать, транспорт должен иметь какой-то определенный саунд. Это, в первую очередь, мера безопасности».
Cейчас компания Атом занимается разработкой голосового помощника, задача которого будет «не развлекать водителя, отвлекая его от дороги, а наоборот обеспечивать управление функциями автомобиля с помощью голоса».
Гренков Александр: «Я занимаюсь проектированием голосового управления автомобилем, и это также завязано на звуковом дизайне. Все звуковые сигналы, которые сопровождают любое действие водителя, должны быть максимально продуманы, не вызывать страх».
Александр считает, что востребованность именно в саунд дизайне электротранспорта будет только расти. Особенно востребованы будут специалисты, которые понимают не только как создавать генеративную музыку и звуки для автомобиля, но и инженерную часть.
«Это такая комплексная работа на стыке саунд дизайна, инженеринга и работы юзер-экспириенс-специалиста. То есть многопрофильного дизайнера».
Куратор программы Music Business в Moscow Music School и основатель музыкального агентства mishas agency Михаил Мазунов тоже рассказал про технологии искусственного интеллекта в музыкальной индустрии, но с точки зрения бизнеса, владельцев авторскими смежными правами, дистрибьютеров.
Что может делать ИИ в музыке?
- создавать музыкальный каталог, где могут систематизировано хранится все треки. Сейчас развивается синхронизация - процесс, когда музыку накладывают на видеоконтент. И с помощью каталога легче найти по тэгу подходящую мелодию, а создатель мелодии может настроить монетизацию за использование своего произведения.
- написание текстов (пресс-релизов, питчей, текстов песен)
- создание обложек для альбомов и синглов
- создание видео
Михаил Мазунов: «Как бы классно не научились нейронки делать музыку, у них нет одного качества. Они не умеют страдать».
Михаил рассказал про интересный кейс, как артисты по его просьбе попробовали сделать с помощью нейросетей текст песни, обложку, видео для выступления на фоне и пресс-релиз. Одна команда создала трек, который вышел и попал в несколько плейлистов в ВК.
Как ИИ помогает с продвижением музыки?
На большинстве платформ таких, как Яндекс Музыка и Spotify, есть система рекомендаций. Это позволяет любым, даже неизвестным исполнителям быть услышанными и стать популярными. Также ИИ помогает настраивать таргетированную рекламу. Сейчас стали появляться специализированные чат-боты, которые становятся почти что личным менеджером для артистов, отвечая на их вопросы.
С помощью ИИ создаются цифровые копии известных артистов. Такие аватары могут 24/7 общаться с фанатами, создавать рекламные видео.
Однако возникла проблема с кражей авторских прав из-за возможности клонирование голоса и множества каверов.
Происходит замусоривание цифровых площадок генеративной музыкой.
Что с этим делать? Вводить новое законы, регулирующие защиту образа человека в целом: внешность, голос и другие параметры.
Дмитрий Соколов как предприниматель с 15-летний опытом рассказал, как можно на практике применять те алгоритмы, про которые говорил предыдущий спикер.
«10 лет назад я был тем человеком, кто в России первый начал продавать музыкальные рекомендации. Еще 10 лет назад я создал первый стриминговый lossless сервис, и с этим выиграл хакатон в Яндексе вместе со своей командой».
Что можно предложить пользователю для того, чтобы составить ему уникальный плейлист?
Очень важно понимать, какая проблема у пользователя, c которым ты работаешь. Дмитрий понял, что у многих людей просто не хватает времени, чтобы составить новый плейлист для пробежки, например. И они готовы заплатить деньги, чтобы получить новый плейлист. Но при условие, что человек, предоставляющий такую услугу, достаточно авторитетный или из известной компании.
