Киберпанк уже наступил. Многие музыкальные инструменты появились в электронном формате, появилось новое звучание, новые стили, и самое интересное — произошло значительное развитие искусственного интеллекта. С момента своего появления нейросети начали забирать работу у людей в самых разных сферах, теперь добрались и до музыкантов. Врага нужно знать в лицо, так что давайте познакомимся с ними поближе. Попробуем разобраться, как они создают музыку и смогут ли полноценно заменить деятельность современных исполнителей и звукорежиссеров.
Первый и один из самых ярких примеров: Stable Diffusion. Она достаточно популярна, благодаря тому, что позволяет создавать изображения по текстовому заданию. Однако оказалось, что с её функционалом становится возможным и создание музыки. Сущность её работы в том, что система может генерировать аудиоспектрограммы, если говорить проще, визуализации звуковых частот в треке. После чего необходимо только воспроизвести полученный звук.
Нейросеть научили на сонограммах, которые иллюстрируют музыкальные жанры или звуки. В итоге вышла Riffusion, новая нейросеть, способная генерировать звук из изображения, которое создаётся по текстовому запросу. Для вывода именно аудиодорожки используется Torchaudio. При всем этом разработчики смогли запрограммировать нейросеть для генерации такие аудиоклипы, которые могли бы плавно перетекать друг в друга. Другими словами, темп музыки не изменяется резко.
Есть и другой претендент на звание врага искусства, MusicLM, разработанная сотрудниками Google. Они не планируют ни делать её общедоступной, ни выкладывать начальный код. Однако для помощи в будущих исследовательских работах они выпустили набор из 5 с половиной тысяч пар, состоящих из музыкального мотива и текста. MusicLM обучили на 280 тысячах часов музыки, чтобы та могла создавать качественные песни для сложных запросов.
Почему же такой уникальный и интересный инструмент может не дойти до пользователей?
Разработчики указали на то, что с нейросетью может возникнуть проблемы, связанные с этикой. Они отметили, что 1% сгенерированной музыки достаточно точно копирует мелодии из обучающего набора. Это уже довольно весомая причина, чтобы не открывать доступ к MusicLM из-за вероятных проблем с авторскими правами.
В заключение можно отметить, что у разработчиков нейросетей и по сей день остаётся немало нерешённых вопросов: от законодательного регулирования их деятельности до эмоциональности и индивидуальной ценности, последнего никогда не было и, возможно, не будет у «нейросетного» искусства.
