За последние несколько лет произошел взрыв применения искусственного интеллекта в творческих областях. Новое поколение генераторов изображений и текста дает впечатляющие результаты. Теперь ИИ нашел применение и в музыке.

На прошлой неделе группа исследователей из Google выпустила MusicLM — генератор музыки на основе искусственного интеллекта, который может преобразовывать текстовые подсказки в аудиофрагменты. Это еще один пример быстрого темпа инноваций за несколько невероятных лет для творческого ИИ.

Поскольку музыкальная индустрия все еще приспосабливается к сбоям, вызванным Интернетом и потоковыми сервисами, существует большой интерес к тому, как ИИ может изменить то, как мы создаем и воспринимаем музыку.

Автоматизация создания музыки

Ряд инструментов искусственного интеллекта теперь позволяют пользователям автоматически создавать музыкальные последовательности или аудиосегменты. Многие из них бесплатны и имеют открытый исходный код, например, инструментарий Magenta от Google.

Два наиболее известных подхода к созданию музыки с помощью ИИ:

• continuation – искусственный интеллект продолжает последовательность нот или данных формы волны, и
• harmonization или accompaniment – когда искусственный интеллект генерирует что-то, дополняющее входные данные, например, аккорды, сопровождающие мелодию.

Подобно искусственному интеллекту, генерирующему текст и изображения, музыкальные системы искусственного интеллекта можно обучать на различных наборах данных. Например, вы можете расширить мелодию Шопена, используя систему, обученную в стиле Бон Джови, как это прекрасно продемонстрировано в MuseNet от OpenAI.

Такие инструменты могут стать источником вдохновения для художников с «синдромом пустого листа», даже если последний толчок привнесет сам художник. Творческая стимуляция — одно из непосредственных применений творческих инструментов искусственного интеллекта сегодня.

Но когда эти инструменты могут оказаться еще более полезными, так это в расширении музыкального опыта. Многие люди могут написать мелодию, но немногие знают, как искусно манипулировать аккордами, чтобы вызвать эмоции, или как писать музыку в различных стилях.

Хотя инструменты искусственного интеллекта для музыки могут надежно выполнять работу талантливых музыкантов, несколько компаний разрабатывают платформы искусственного интеллекта для создания музыки.

Boomy идет по пути минимализма: пользователи без музыкального опыта могут создать песню несколькими щелчками мыши, а затем изменить ее аранжировку. Aiva использует аналогичный подход, но позволяет более точно контролировать; исполнители могут редактировать сгенерированную музыку по нотам в пользовательском редакторе.

Однако есть одна загвоздка. Известно, что методы машинного обучения трудно контролировать, и создание музыки с использованием ИИ на данный момент является чем-то вроде удачного провала; вы можете иногда получать хорошие результаты, используя эти инструменты, но вы можете не знать, почему.

Постоянная задача для людей, создающих эти инструменты ИИ, — обеспечить более точный и преднамеренный контроль над тем, что производят генеративные алгоритмы.

Новые способы управления стилем и звуком

Инструменты музыкального ИИ также позволяют пользователям преобразовывать музыкальную последовательность или аудиосегмент. Например, технология библиотеки дифференциальной цифровой обработки сигналов Google Magenta выполняет перенос тембра.

Тембр — это технический термин, обозначающий текстуру звука — различие между автомобильным двигателем и свистком. Используя перенос тембра, можно изменить тембр сегмента аудио.

Такие инструменты — отличный пример того, как ИИ может помочь музыкантам создавать богатые оркестровки и добиваться совершенно новых звуков. В первом конкурсе песни AI, который состоялся в 2020 году, сиднейская музыкальная студия Uncanny Valley использовала перенос тембра, чтобы добавить в микс поющих коал.

Передача тембра присоединилась к долгой истории методов синтеза, которые сами по себе стали инструментами.

Будущее музыки

Будут ли ужесточены законы об авторском праве, чтобы компании, обучающие системы искусственного интеллекта работать с произведениями художников, получали компенсацию этим художникам? И за что будет эта компенсация? Будут ли новые правила применяться к разделению источников? Будут ли музыканты, использующие ИИ, тратить меньше времени на создание музыки или будут создавать больше музыки, чем когда-либо прежде?

Если и есть что-то несомненное, так это перемены. По мере того, как новое поколение музыкантов растет, погружаясь в творческие возможности ИИ, они находят новые способы работы с этими инструментами.