Генеративная музыка: как создать хит по собственному вкусу

ТехИнсайдерHi-Tech

Слова вместо нот

Создано ИИ

После того как мы наигрались с графическими нейросетями Midjourney, DALL-E 2 и Stable Diffusion и даже нарисовали себе при их помощи обложку и часть журнала, возник вопрос, когда появятся подобные музыкальные сервисы. Пишешь: «хочу что-то в стиле калифорнийского серф-рока, но чтобы на гитаре играл Джими Хендрикс, на барабанах – Джон Бонэм, а вокал был от Сэм Браун» – и тебе нейросеть генерит персональный хит. Первый же запрос в Google «text-to-music» выдал в поиске Mubert – проект с российскими корнями, о котором мы писали еще в 2019 году и который с тех пор стал одним из лидеров в мире генеративной музыки. И я отправился к сооснователю Mubert Павлу Згордану, который отвечает в компании за это направление.

В основе технологии генеративной музыки Mubert лежит огромная база семплов – небольших музыкальных партий размером от 1 до 64 тактов, из которых алгоритм, как из кирпичиков, строит музыкальную композицию. В 2019 году коллекция Mubert исчислялась сотнями тысяч семплов, сегодня счет идет на миллионы, и каждый месяц добавляются новые. Mubert покупает их через собственную биржу. «Сейчас мы платим около 50 центов за семпл, и музыканты, которые сотрудничают с нами, зарабатывают на этом в среднем по 500–600 долл. в месяц. Фрагменты необязательно должны сильно отличаться друг от друга – могут быть просто вариации». Собственно, семплы – единственное, что осталось от старого Mubert: все алгоритмы и движки были кардинально переработаны. Старый алгоритм на основе лайков/дизлайков считал так: «если вам понравилось это сочетание звуков, то послушайте теперь вот такое – оно понравилось кому-то с аналогичными предпочтениями». Сейчас результаты выбора прогоняются через нейросеть и преобразуются в некий вектор в многомерном пространстве. Mubert изучил множество данных по трекам в разных жанрах, и музыка стала четче совпадать с ожиданиями пользователей.

«А еще мы сделали драм-машину – она играет барабанные партии, которые уже научилась сама придумывать, – рассказывает Павел Згордан. – Когда запускается трек из присланных семплов, мы вырезаем из них небольшие кусочки, а драммашина создает новый ритм».

Раньше музыкант при загрузке семплов должен был их тегировать; сейчас этого делать не надо: нейросеть по спектральному анализу определяет, что за звук перед ней, какой играет инструмент и пр., и сама маркирует его. Еще внедрили систему автоматического сведения треков – выстраивание баланса громкости, чем обычно занимаются звукорежиссеры. А в финале – автоматический мастеринг, шлифовка трека эквалайзерами и компрессорами. Все это уже работает в генераторе музыки для создателей контента Mubert Render.

Mubert Render

Классное, кстати, приложение! Сколько раз мы в редакции сталкивались с проблемами подборки нужного музыкального трека для нашего видео. Чуть что не так с авторскими правами – и тот же YouTube блокирует ролик. Приходится обращаться к знакомым композиторам, а это лишние траты и времени, и денег.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Молекулы скорости Молекулы скорости

В заездах Nanocar Race II принимают участие молекулярные машины

ТехИнсайдер
Сперма для некоторых животных — полноценная еда. Вы удивитесь! Сперма для некоторых животных — полноценная еда. Вы удивитесь!

Для подводных жителей правильное питание включает в себя даже жидкости организма

ТехИнсайдер
«Слишком много шума» «Слишком много шума»

Лев Ландау выделялся глубоким пониманием всех разделов физической науки

Наука
Жена и мать репрессированных. Учитель поэтов. Факты об Анне Ахматовой Жена и мать репрессированных. Учитель поэтов. Факты об Анне Ахматовой

Чего вы не знали об Анне Ахматовой?

ТехИнсайдер
Бананология Бананология

Физика, химия, генетика и математика на примере банана

ТехИнсайдер
На изящном: как итальянский монах-иезуит Джузеппе Кастильоне стал придворным художником в Китае На изящном: как итальянский монах-иезуит Джузеппе Кастильоне стал придворным художником в Китае

Монах Джузеппе Кастильоне создал при китайском дворе около двухсот картин

Правила жизни
Звуковая диагностика Звуковая диагностика

В «Норникеле» научились определять неполадки на слух

ТехИнсайдер
Подсказывают актеры: какие сценические приемы можно использовать на публичных выступлениях Подсказывают актеры: какие сценические приемы можно использовать на публичных выступлениях

Актерские приемы, которые помогают справиться с волнением

Inc.
Все уровни беспилотности Все уровни беспилотности

Из пункта А в пункт Б выехал автомобиль — казалось бы, что может быть проще?

ТехИнсайдер
День и ночь День и ночь

Пример продуманной функциональности и нескучного минимализма с яркими акцентами

SALON-Interior
Ненужная, но вездесущая ртуть Ненужная, но вездесущая ртуть

Употреблять щуку в пищу, оказывается, может быть небезопасно

Наука и жизнь
Аналитики, юнгианцы, гештальтисты, арт-терапевты и другие: какие бывают психологи? Аналитики, юнгианцы, гештальтисты, арт-терапевты и другие: какие бывают психологи?

Какие бывают специальности и направления в психологии?

Psychologies
Криптовалюты. Поколение второе Криптовалюты. Поколение второе

От «цифрового золота» к полноценным деньгам

Популярная механика
Георгий Жженов: Георгий Жженов:

Об актере Георгии Жженове рассказывает его дочь Марина Жженова

Коллекция. Караван историй
«Плохое настроение — приступ переедания»: что нужно знать о нервной булимии «Плохое настроение — приступ переедания»: что нужно знать о нервной булимии

Как распознать и вылечить булимию?

Psychologies
Последствия операций, которые удивят любого! Короткие и реальные истории Последствия операций, которые удивят любого! Короткие и реальные истории

Удивительные истории, о которых ежедневно сообщают медики

ТехИнсайдер
Не можешь жить без включенного телевизора? Вот чем это опасно! Не можешь жить без включенного телевизора? Вот чем это опасно!

Считаешь, что тишина — это ужасно?

VOICE
Крик души: о каких травмах может рассказать наш голос Крик души: о каких травмах может рассказать наш голос

О чем мы «звучим» другим людям?

Psychologies
Все песни только про зайцев: краткий путеводитель по кроликам и зайцам в культуре Все песни только про зайцев: краткий путеводитель по кроликам и зайцам в культуре

Как Кролик представлен в мировой культуре?

Правила жизни
Сколько раз США официально вступали в военные конфликты под разными предлогами Сколько раз США официально вступали в военные конфликты под разными предлогами

Когда США объявляла военное положение?

ТехИнсайдер
Увеличены лимфоузлы на шее.  В чем причины и всегда ли нужно их лечить Увеличены лимфоузлы на шее.  В чем причины и всегда ли нужно их лечить

Если воспалились лимфоузлы на шее, надо ли что-то предпринимать и что именно

Лиза
На изящном: «Песнь о Нибелунгах» в картинах Генриха Фюссли На изящном: «Песнь о Нибелунгах» в картинах Генриха Фюссли

Разбор сюжетов немецкого эпоса в картинах швейцарского живописца Генриха Фюссли

Правила жизни
Как отличить некомпетентного человека, от человека с «синдромом самозванца» Как отличить некомпетентного человека, от человека с «синдромом самозванца»

Как распознать человека с «синдромом самозванца»

Maxim
Как сдать экзамен на права в ГИБДД с первого раза: инструкция Как сдать экзамен на права в ГИБДД с первого раза: инструкция

Что необходимо учесть, готовясь к получению водительских прав?

РБК
Что делать, если пробка от вина или шампанского сломалась: рабочие методы открыть бутылку Что делать, если пробка от вина или шампанского сломалась: рабочие методы открыть бутылку

Как добраться до напитка, если пробка в бутылке крошится и ломается

ТехИнсайдер
Отчего телескопы не летают как птицы Отчего телескопы не летают как птицы

Проект SOFIA закончен. Других таких больше не будет

N+1
GAC GS8. Land Cruiser для непритязательных GAC GS8. Land Cruiser для непритязательных

GAC GS8: легкий кузов и алюминиевый турбомотор

4x4 Club
О чём говорят на кухне О чём говорят на кухне

Павел Кейв — о том, какой путь прошёл, чтобы построить бренд мирового уровня

Robb Report
Главная соперница Мэрилин Монро, которая сильно поплатилась за свою красоту: история Джейн Мэнсфилд и загадочная смерть Главная соперница Мэрилин Монро, которая сильно поплатилась за свою красоту: история Джейн Мэнсфилд и загадочная смерть

Джейн Мэнсфилд трагически погибла молодой, оставив после себя множество слухов

ТехИнсайдер
Продолжение истории о том, кто живет в вашей комнате Продолжение истории о том, кто живет в вашей комнате

Как работает теория ближнего и дальнего круга и может ли она помочь семье

СНОБ
Открыть в приложении