Генеративная музыка: как создать хит по собственному вкусу

ТехИнсайдерHi-Tech

Слова вместо нот

Создано ИИ

После того как мы наигрались с графическими нейросетями Midjourney, DALL-E 2 и Stable Diffusion и даже нарисовали себе при их помощи обложку и часть журнала, возник вопрос, когда появятся подобные музыкальные сервисы. Пишешь: «хочу что-то в стиле калифорнийского серф-рока, но чтобы на гитаре играл Джими Хендрикс, на барабанах – Джон Бонэм, а вокал был от Сэм Браун» – и тебе нейросеть генерит персональный хит. Первый же запрос в Google «text-to-music» выдал в поиске Mubert – проект с российскими корнями, о котором мы писали еще в 2019 году и который с тех пор стал одним из лидеров в мире генеративной музыки. И я отправился к сооснователю Mubert Павлу Згордану, который отвечает в компании за это направление.

В основе технологии генеративной музыки Mubert лежит огромная база семплов – небольших музыкальных партий размером от 1 до 64 тактов, из которых алгоритм, как из кирпичиков, строит музыкальную композицию. В 2019 году коллекция Mubert исчислялась сотнями тысяч семплов, сегодня счет идет на миллионы, и каждый месяц добавляются новые. Mubert покупает их через собственную биржу. «Сейчас мы платим около 50 центов за семпл, и музыканты, которые сотрудничают с нами, зарабатывают на этом в среднем по 500–600 долл. в месяц. Фрагменты необязательно должны сильно отличаться друг от друга – могут быть просто вариации». Собственно, семплы – единственное, что осталось от старого Mubert: все алгоритмы и движки были кардинально переработаны. Старый алгоритм на основе лайков/дизлайков считал так: «если вам понравилось это сочетание звуков, то послушайте теперь вот такое – оно понравилось кому-то с аналогичными предпочтениями». Сейчас результаты выбора прогоняются через нейросеть и преобразуются в некий вектор в многомерном пространстве. Mubert изучил множество данных по трекам в разных жанрах, и музыка стала четче совпадать с ожиданиями пользователей.

«А еще мы сделали драм-машину – она играет барабанные партии, которые уже научилась сама придумывать, – рассказывает Павел Згордан. – Когда запускается трек из присланных семплов, мы вырезаем из них небольшие кусочки, а драммашина создает новый ритм».

Раньше музыкант при загрузке семплов должен был их тегировать; сейчас этого делать не надо: нейросеть по спектральному анализу определяет, что за звук перед ней, какой играет инструмент и пр., и сама маркирует его. Еще внедрили систему автоматического сведения треков – выстраивание баланса громкости, чем обычно занимаются звукорежиссеры. А в финале – автоматический мастеринг, шлифовка трека эквалайзерами и компрессорами. Все это уже работает в генераторе музыки для создателей контента Mubert Render.

Mubert Render

Классное, кстати, приложение! Сколько раз мы в редакции сталкивались с проблемами подборки нужного музыкального трека для нашего видео. Чуть что не так с авторскими правами – и тот же YouTube блокирует ролик. Приходится обращаться к знакомым композиторам, а это лишние траты и времени, и денег.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Еда, которая не убивает планету Еда, которая не убивает планету

Прокормить постоянно растущее человечество помогут микроорганизмы

ТехИнсайдер
Семь советов: как не поправиться в Новый год? Семь советов: как не поправиться в Новый год?

Как же наслаждаться новогодней едой, не рискуя фигурой?

Здоровье
Ирина Калабихина: «Демографический взрыв уже у нас за спиной» Ирина Калабихина: «Демографический взрыв уже у нас за спиной»

Экономист Ирина Калабихина — что с нами будет дальше и хватит ли всем места?

РБК
Огуречная трава: все о пользе этого сорняка Огуречная трава: все о пользе этого сорняка

Чем полезна огуречная трава и чем вредна, кому и как ее можно использовать

VOICE
Бананология Бананология

Физика, химия, генетика и математика на примере банана

ТехИнсайдер
Илья Авербух и Лиза Арзамасова: Илья Авербух и Лиза Арзамасова:

Мы вообще не понимаем, что такое ссориться

Коллекция. Караван историй
Штурманы подземелья Штурманы подземелья

Маркшейдеры — специалисты, знающие, как проложить дорогу под землей

ТехИнсайдер
«Жил-был Анри Четвёртый…» «Жил-был Анри Четвёртый…»

Почему Генрих IV получил прозвище «добрый король»

Дилетант
Все уровни беспилотности Все уровни беспилотности

Из пункта А в пункт Б выехал автомобиль — казалось бы, что может быть проще?

ТехИнсайдер
5 любимых сказочных персонажей, которые подают детям плохой пример 5 любимых сказочных персонажей, которые подают детям плохой пример

Поведение каких персонажей стоит объяснять ребенку с точки зрения реальности

Psychologies
Королеву — под нож Королеву — под нож

Какой была жизнь и смерть Марии-Антуанетты

Дилетант
Почему мы загадываем желания под бой курантов и как это делать, чтобы они исполнились Почему мы загадываем желания под бой курантов и как это делать, чтобы они исполнились

Почему взрослые продолжают верить в новогодние чудеса?

Правила жизни
Чем полезен калий и как его получать с пищей Чем полезен калий и как его получать с пищей

Зачем нам нужен калий? И неужели он есть только в бананах?

ТехИнсайдер
Дьявол носит «Прага» Дьявол носит «Прага»

Гиперкар с возможностью повседневной эксплуатации

Автопилот
Продли себе жизнь и укрепи здоровье: принципы аюверды для зимы Продли себе жизнь и укрепи здоровье: принципы аюверды для зимы

Аюрведа помогает улучшить качество жизни на физическом и на психическом уровнях

VOICE
Как получали медицинскую помощь жители Российской империи Как получали медицинскую помощь жители Российской империи

Как лечили людей в России XIX века?

СНОБ
Величайший в истории: как Пеле стал легендой, на которой держится современный футбол Величайший в истории: как Пеле стал легендой, на которой держится современный футбол

Почему Пеле считается величайшим в истории футбола

Forbes
Не вчера родился: что такое промывание мозгов и скрытое предубеждение Не вчера родился: что такое промывание мозгов и скрытое предубеждение

Глава из книги «Не вчера родился: наука о том, кому мы доверяем и во что верим»

Forbes
Дорогу активному отдыху: 5 видов спорта, которыми можно заняться в новогодние каникулы Дорогу активному отдыху: 5 видов спорта, которыми можно заняться в новогодние каникулы

Каким видом спорта заняться зимой?

ТехИнсайдер
Когда закончились сказки: 5 книг для увлекательного чтения вместе с детьми Когда закончились сказки: 5 книг для увлекательного чтения вместе с детьми

Собрали «растущую» библиотеку полезных книг для детей

ТехИнсайдер
Пеле, Артемьев, Вествуд: нормально ли оплакивать знаменитостей? Пеле, Артемьев, Вествуд: нормально ли оплакивать знаменитостей?

Что думают психологи о скорби по знаменитостям?

Psychologies
«Социум — третий родитель»: как общество наносит ребенку психологические травмы «Социум — третий родитель»: как общество наносит ребенку психологические травмы

Как и почему общество травмирует ребенка?

Psychologies
Спорт, алкоголь и секс: 15 видов скрытого саморазрушения — необычные признания Спорт, алкоголь и секс: 15 видов скрытого саморазрушения — необычные признания

Обычные люди рассказывают о незаметном саморазрушительном поведении

Psychologies
11000 лет назад мамонтов в Европе погубили не люди, а леса 11000 лет назад мамонтов в Европе погубили не люди, а леса

Ученые считают, что не охота стала главной причиной вымирания мегафауны

ТехИнсайдер
Девушки-компьютеры: кто делал вычисления для астрономов и авиаконструкторов Девушки-компьютеры: кто делал вычисления для астрономов и авиаконструкторов

Без кого ученым было бы сложнее делать открытия?

Forbes
Мышление трудоголика: 7 ошибок — как перестать работать на износ Мышление трудоголика: 7 ошибок — как перестать работать на износ

Типичные мыслительные паттерны, которые свойственны трудоголикам

Psychologies
6 ошибок, которые ты совершаешь, когда наряжаешь елку 6 ошибок, которые ты совершаешь, когда наряжаешь елку

Как правильно наряжать ёлку?

Maxim
Имитация и инерция: как власть вернулась к советскому пониманию прав человека Имитация и инерция: как власть вернулась к советскому пониманию прав человека

История понимания прав человека в СССР и России

Forbes
Тревожные звоночки. На что обратить внимание родителю подростка Тревожные звоночки. На что обратить внимание родителю подростка

Когда все же стоит отвести подростка к врачу?

СНОБ
Люди с врожденными болезнями, над которыми смеялись тысячи зрителей: печальная история «девочки-верблюда» Люди с врожденными болезнями, над которыми смеялись тысячи зрителей: печальная история «девочки-верблюда»

Элла Харпер получила прозвище «девочка-верблюд» из-за необычного строения ног

ТехИнсайдер
Открыть в приложении