Google создал технологию, которая может генерировать музыку из текстовых описаний

Новая система искусственного интеллекта от Google может генерировать музыку в любом жанре по текстовому описанию. Но компания, опасаясь рисков, не планирует выпускать его в массовое пользование в ближайшее время.

MusicLM от Google, безусловно, не первая система искусственного интеллекта для создания песен. Были и другие попытки, включая Riffusion — ИИ, который сочиняет музыку, визуализируя ее, а также Dance Diffusion, собственный AudioML от Google и Jukebox от OpenAI. Но из-за технических ограничений ни один из них не смог создать песни, особенно сложные по композиции или с высокой точностью воспроизведения.

Как подробно описано в презентации, MusicLM был обучен на наборе данных из 280 000 часов музыки, чтобы научиться генерировать связные песни, как выразились создатели, «значительной сложности» (например, джазовая песня с запоминающимся саксофонным соло и соло певца или берлинское техно 90-х с низким басом и сильными ударными). Песни MusicLM звучат примерно так, как может сочинять человек-профессионал, хотя и не обязательно столь же изобретательно или музыкально связно.

Трудно переоценить, насколько хорошо звучат сэмплы, учитывая, что в цикле нет ни музыкантов, ни инструменталистов. Даже при подаче несколько длинных и извилистых описаний MusicLM удается уловить такие нюансы, как инструментальные риффы, мелодии и настроения.

Возможности искусственного интеллекта MusicLM не ограничиваются созданием коротких музыкальных произведений. Исследователи Google показывают, что система может основываться на существующих мелодиях, будь то напевание, пение, насвистывание или игра на инструменте. Более того, MusicLM может взять несколько последовательно написанных описаний (например, «время медитировать», «время просыпаться», «время бежать», «время выложиться на 100%») и создать своего рода мелодическую «историю» или повествование продолжительностью до нескольких минут — идеально подходит для саундтрека к фильму.

MusicLM также можно инструктировать с помощью комбинации изображения и подписи или генерировать звук, который «играет» инструмент определенного типа в определенном жанре. Можно установить даже уровень опыта «музыканта». ИИ может создавать музыку, вдохновленную местами, эпохами или определенными требованиями (например, мотивационная музыка для тренировок).

Но MusicLM не безупречен. Некоторые образцы имеют искаженное качество, что является неизбежным побочным эффектом на этапе тестирования. И хотя технически MusicLM может генерировать вокал, включая хоровые гармонии, они оставляют желать лучшего. Большая часть «текстов» варьируется от английского до чистой тарабарщины, исполняемой синтезированными голосами, которые звучат как объединение нескольких исполнителей.

Тем не менее, исследователи Google отмечают множество этических проблем, связанных с такой системой, как MusicLM, в том числе тенденцию включать защищенный авторским правом материал из обучающих данных в сгенерированные песни. Во время эксперимента они обнаружили, что около 1% музыки, сгенерированной системой, было напрямую воспроизведено из песен, на которых она обучалась.

«Мы признаем риск потенциального незаконного присвоения творческого контента. Мы настоятельно подчеркиваем необходимость дальнейшей работы по устранению этих рисков, связанных с созданием музыки», — рассказали создатели.

Когда MusicLM или подобная система однажды станет общедоступной, кажется неизбежным, что на первый план выйдут серьезные юридические проблемы — даже если системы позиционируются как инструменты, помогающие артистам, а не заменяющие их.

В техническом документе, написанном юристом Эриком Санреем, утверждается, что музыкальные генераторы с искусственным интеллектом, такие как MusicLM, нарушают авторские права на музыку. Аналогичные опасения возникают в отношении обучающих данных, используемых в системах искусственного интеллекта, генерирующих изображения, код и текст, которые часто извлекаются из Интернета без ведома создателей.

Энди Байо из Waxy предполагает, что музыка, созданная системой искусственного интеллекта, будет считаться производной работой, и в этом случае авторские права будут защищены только исходными элементами.

Возможно, вскоре появится какая-то ясность в этом вопросе. Несколько судебных исков, проходящих через суды, вероятно, будут иметь отношение к искусственному интеллекту, генерирующему музыку, в том числе иск, касающийся прав артистов, чьи работы используются для обучения систем искусственного интеллекта без их ведома или согласия. Но время покажет.