Генеративная музыка: как создать хит по собственному вкусу

ТехИнсайдерHi-Tech

Слова вместо нот

Создано ИИ

После того как мы наигрались с графическими нейросетями Midjourney, DALL-E 2 и Stable Diffusion и даже нарисовали себе при их помощи обложку и часть журнала, возник вопрос, когда появятся подобные музыкальные сервисы. Пишешь: «хочу что-то в стиле калифорнийского серф-рока, но чтобы на гитаре играл Джими Хендрикс, на барабанах – Джон Бонэм, а вокал был от Сэм Браун» – и тебе нейросеть генерит персональный хит. Первый же запрос в Google «text-to-music» выдал в поиске Mubert – проект с российскими корнями, о котором мы писали еще в 2019 году и который с тех пор стал одним из лидеров в мире генеративной музыки. И я отправился к сооснователю Mubert Павлу Згордану, который отвечает в компании за это направление.

В основе технологии генеративной музыки Mubert лежит огромная база семплов – небольших музыкальных партий размером от 1 до 64 тактов, из которых алгоритм, как из кирпичиков, строит музыкальную композицию. В 2019 году коллекция Mubert исчислялась сотнями тысяч семплов, сегодня счет идет на миллионы, и каждый месяц добавляются новые. Mubert покупает их через собственную биржу. «Сейчас мы платим около 50 центов за семпл, и музыканты, которые сотрудничают с нами, зарабатывают на этом в среднем по 500–600 долл. в месяц. Фрагменты необязательно должны сильно отличаться друг от друга – могут быть просто вариации». Собственно, семплы – единственное, что осталось от старого Mubert: все алгоритмы и движки были кардинально переработаны. Старый алгоритм на основе лайков/дизлайков считал так: «если вам понравилось это сочетание звуков, то послушайте теперь вот такое – оно понравилось кому-то с аналогичными предпочтениями». Сейчас результаты выбора прогоняются через нейросеть и преобразуются в некий вектор в многомерном пространстве. Mubert изучил множество данных по трекам в разных жанрах, и музыка стала четче совпадать с ожиданиями пользователей.

«А еще мы сделали драм-машину – она играет барабанные партии, которые уже научилась сама придумывать, – рассказывает Павел Згордан. – Когда запускается трек из присланных семплов, мы вырезаем из них небольшие кусочки, а драммашина создает новый ритм».

Раньше музыкант при загрузке семплов должен был их тегировать; сейчас этого делать не надо: нейросеть по спектральному анализу определяет, что за звук перед ней, какой играет инструмент и пр., и сама маркирует его. Еще внедрили систему автоматического сведения треков – выстраивание баланса громкости, чем обычно занимаются звукорежиссеры. А в финале – автоматический мастеринг, шлифовка трека эквалайзерами и компрессорами. Все это уже работает в генераторе музыки для создателей контента Mubert Render.

Mubert Render

Классное, кстати, приложение! Сколько раз мы в редакции сталкивались с проблемами подборки нужного музыкального трека для нашего видео. Чуть что не так с авторскими правами – и тот же YouTube блокирует ролик. Приходится обращаться к знакомым композиторам, а это лишние траты и времени, и денег.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Пространство новых материалов Пространство новых материалов

Как один ученый придумал альтернативу таблице Менделеева

Популярная механика
Вокруг сказки Вокруг сказки

История одного проекта, рассказанная художницей и мамой

Новый очаг
Молекулы скорости Молекулы скорости

В заездах Nanocar Race II принимают участие молекулярные машины

ТехИнсайдер
10 способов обращения с прошлым из сериалов 10 способов обращения с прошлым из сериалов

Как разные сериалы обращаются с историческим прошлым

Weekend
Анатомия робособаки Анатомия робособаки

Выверенная анатомия Spot — продукт не слепой эволюции, а грамотной инженерии

ТехИнсайдер
Бестселлер о женщине-химике, которая превратила кухню в лабораторию Бестселлер о женщине-химике, которая превратила кухню в лабораторию

Отрывок из книги Бонни Гармус «Уроки химии»

Forbes
Последний пшик моды Последний пшик моды

Одежда из баллончика, распыляемая прямо на тело, больше не фантастика

ТехИнсайдер
Представление пленного царя Василия Шуйского Сенату и Сигизмунду III в Варшаве в 1611 году Представление пленного царя Василия Шуйского Сенату и Сигизмунду III в Варшаве в 1611 году

Символизм картины живописца Яна Матейко

Дилетант
Все уровни беспилотности Все уровни беспилотности

Из пункта А в пункт Б выехал автомобиль — казалось бы, что может быть проще?

ТехИнсайдер
Офис — боль Офис — боль

Какие болезни грозят белым воротничкам

Лиза
Анализы для вегетарианцев Анализы для вегетарианцев

Как не навредить себе, перейдя на вегетарианство?

Лиза
Вроде не против: как вынужденное согласие становится опорой для порно-индустрии Вроде не против: как вынужденное согласие становится опорой для порно-индустрии

Отрывок из книги «Темная сторона сексуальной революции»

Forbes
Передвижник Передвижник

В послужном списке Эммануила Генделя около 20 проектов по передвижке сооружений

Дилетант
Прикладная мифология: как и зачем люди придумали созвездия Прикладная мифология: как и зачем люди придумали созвездия

Как можно ориентироваться по небу, учитывая такое обилие звезд?

Вокруг света
Почему у чернокожих белые ладони? Ответ вас точно удивит Почему у чернокожих белые ладони? Ответ вас точно удивит

Почему природа раскрасила чернокожих неравномерно

ТехИнсайдер
7 новогодних блюд со всего мира: самые необычные и интересные яства 7 новогодних блюд со всего мира: самые необычные и интересные яства

На Новый год в каждой стране есть что-то свое, особенное!

ТехИнсайдер
Директор фонда «Подари жизнь» — о доброте, системности и 100 рублях Директор фонда «Подари жизнь» — о доброте, системности и 100 рублях

Директор фонда «Подари жизнь»: почему благотворительность — это про любовь

РБК
Улыбаемся и машем! Улыбаемся и машем!

Про Мадагаскар можно рассказывать долго — и не сказать ничего

Y Magazine
«Войны всегда идут не так, как планировалось». Рэй Далио о том, как мир оказался на пороге самого серьезного экономического и политического шока за последние сто лет «Войны всегда идут не так, как планировалось». Рэй Далио о том, как мир оказался на пороге самого серьезного экономического и политического шока за последние сто лет

Рэй Далио о том, как мир оказался на пороге такого серьезного шока

Inc.
Дать голос пострадавшим: как Мэри Колвин стала знаковой фигурой военной журналистики Дать голос пострадавшим: как Мэри Колвин стала знаковой фигурой военной журналистики

Чем отличается женский взгляд на вооруженные конфликты

Forbes
Мать-маньячка заперла родную дочь в комнате на 25 лет: ужасная история Мать-маньячка заперла родную дочь в комнате на 25 лет: ужасная история

Вот какой губительной бывает любовь родителей — история Бланш Монье

ТехИнсайдер
Как настроить новый экран блокировки на iPhone Как настроить новый экран блокировки на iPhone

Как самостоятельно настраивать экраны блокировки в iOS 16

CHIP
Груз прошлого: что следует понимать под имперским и колониальным мышлением Груз прошлого: что следует понимать под имперским и колониальным мышлением

Что такое имперское и колониальное мышление? Как оно проявляется?

Forbes
Начал с кошки, закончил младенцем: как жил (и умер) маньяк из Ярославля, отравивший шесть человек Начал с кошки, закончил младенцем: как жил (и умер) маньяк из Ярославля, отравивший шесть человек

Жертвами Вячеслава Соловьева стали его жена и дочь, любовница и даже следователь

Maxim
В гармонии с природой, временем и собой: 10 правил жизни оленеводов В гармонии с природой, временем и собой: 10 правил жизни оленеводов

Рассказываем об образе жизни современных оленеводов

Вокруг света
Международный мужской день: что важно знать мужчинам, чтобы сохранить силу и здоровье Международный мужской день: что важно знать мужчинам, чтобы сохранить силу и здоровье

Что такое снижение тестостерона и как его можно замедлить?

Psychologies
Нетоксичная благотворительность: как не выгореть, помогая другим Нетоксичная благотворительность: как не выгореть, помогая другим

Как распределить свои ресурсы и не выгореть?

Psychologies
Археологи нашли древнюю баню на римской вилле в Англии. Вам туда захочется! Археологи нашли древнюю баню на римской вилле в Англии. Вам туда захочется!

Новые свидетельства роскошного образа жизни британцев обнаружены в Ратленде

ТехИнсайдер
Остров смерти, куклы, поморы: путешествие по необычным местам Архангельской области Остров смерти, куклы, поморы: путешествие по необычным местам Архангельской области

Отправляемся в путь по малоизвестным местам Архангельской области

Вокруг света
3 признака пищевой аллергии, о которых вы не знали раньше 3 признака пищевой аллергии, о которых вы не знали раньше

По каким симптомам можно вычислить аллергию?

Psychologies
Открыть в приложении