Генеративная музыка: как создать хит по собственному вкусу

ТехИнсайдерHi-Tech

Слова вместо нот

Создано ИИ

После того как мы наигрались с графическими нейросетями Midjourney, DALL-E 2 и Stable Diffusion и даже нарисовали себе при их помощи обложку и часть журнала, возник вопрос, когда появятся подобные музыкальные сервисы. Пишешь: «хочу что-то в стиле калифорнийского серф-рока, но чтобы на гитаре играл Джими Хендрикс, на барабанах – Джон Бонэм, а вокал был от Сэм Браун» – и тебе нейросеть генерит персональный хит. Первый же запрос в Google «text-to-music» выдал в поиске Mubert – проект с российскими корнями, о котором мы писали еще в 2019 году и который с тех пор стал одним из лидеров в мире генеративной музыки. И я отправился к сооснователю Mubert Павлу Згордану, который отвечает в компании за это направление.

В основе технологии генеративной музыки Mubert лежит огромная база семплов – небольших музыкальных партий размером от 1 до 64 тактов, из которых алгоритм, как из кирпичиков, строит музыкальную композицию. В 2019 году коллекция Mubert исчислялась сотнями тысяч семплов, сегодня счет идет на миллионы, и каждый месяц добавляются новые. Mubert покупает их через собственную биржу. «Сейчас мы платим около 50 центов за семпл, и музыканты, которые сотрудничают с нами, зарабатывают на этом в среднем по 500–600 долл. в месяц. Фрагменты необязательно должны сильно отличаться друг от друга – могут быть просто вариации». Собственно, семплы – единственное, что осталось от старого Mubert: все алгоритмы и движки были кардинально переработаны. Старый алгоритм на основе лайков/дизлайков считал так: «если вам понравилось это сочетание звуков, то послушайте теперь вот такое – оно понравилось кому-то с аналогичными предпочтениями». Сейчас результаты выбора прогоняются через нейросеть и преобразуются в некий вектор в многомерном пространстве. Mubert изучил множество данных по трекам в разных жанрах, и музыка стала четче совпадать с ожиданиями пользователей.

«А еще мы сделали драм-машину – она играет барабанные партии, которые уже научилась сама придумывать, – рассказывает Павел Згордан. – Когда запускается трек из присланных семплов, мы вырезаем из них небольшие кусочки, а драммашина создает новый ритм».

Раньше музыкант при загрузке семплов должен был их тегировать; сейчас этого делать не надо: нейросеть по спектральному анализу определяет, что за звук перед ней, какой играет инструмент и пр., и сама маркирует его. Еще внедрили систему автоматического сведения треков – выстраивание баланса громкости, чем обычно занимаются звукорежиссеры. А в финале – автоматический мастеринг, шлифовка трека эквалайзерами и компрессорами. Все это уже работает в генераторе музыки для создателей контента Mubert Render.

Mubert Render

Классное, кстати, приложение! Сколько раз мы в редакции сталкивались с проблемами подборки нужного музыкального трека для нашего видео. Чуть что не так с авторскими правами – и тот же YouTube блокирует ролик. Приходится обращаться к знакомым композиторам, а это лишние траты и времени, и денег.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Спуск на Эверест Спуск на Эверест

Спелеология – это наука плюс спорт. Рекордные глубины пещер в нашем материале

ТехИнсайдер
Как выбрать по-настоящему теплую зимнюю куртку Как выбрать по-настоящему теплую зимнюю куртку

Исчерпывающий гайд о том, как купить верхнюю одежду на зиму и замерзнуть

Maxim
Мы из будущего Мы из будущего

«Белая Вежа» — один из самых интересных научных центров

ТехИнсайдер
Как узнать, что партнер вас использует: 6 тревожных признаков — чек-лист психолога Как узнать, что партнер вас использует: 6 тревожных признаков — чек-лист психолога

Как же распознать спутника, который стремится получить выгоду?

Psychologies
Этого не может быть Этого не может быть

Самые удивительные гипотезы в биологии

ТехИнсайдер
Сорняки в электрохимии Сорняки в электрохимии

Опасный инвазивный вид — борщевик — может служить сырьем для батарей

Наука
Планетарная оборона Планетарная оборона

Рано или поздно Земля обязательно столкнется с крупным астероидом

ТехИнсайдер
Заграничные штучки Заграничные штучки

Как в разных странах люди готовят свои дома к Новому году?

Лиза
Все уровни беспилотности Все уровни беспилотности

Из пункта А в пункт Б выехал автомобиль — казалось бы, что может быть проще?

ТехИнсайдер
Отчего стареет иммунитет? Отчего стареет иммунитет?

Отчего стареет иммунитет, и можно ли это предотвратить?

Здоровье
Точный подсчет Точный подсчет

Какие тренировки лучше всего помогают избавиться от накопленных калорий?

Лиза
Ревизия зла Ревизия зла

Как постсоветская литература разбиралась, где свет, а где тьма, и не разобралась

Weekend
Кто горы наворотил? Кто горы наворотил?

Поколения губок, мириады бактерий и водорослей – создатели земной коры

Популярная механика
Приемная комиссия Приемная комиссия

Что приобрел Tiggo за годы учебы

Автопилот
Воспринимай на слух Воспринимай на слух

10 фраз мужчины, которые сигнализируют, что от него надо бежать без оглядки

Лиза
«Джеймс Уэбб» увидел самые далекие галактики: они возникли через 325 миллионов лет после Большого взрыва «Джеймс Уэбб» увидел самые далекие галактики: они возникли через 325 миллионов лет после Большого взрыва

Так близко к началу Вселенной человечество еще не подходило

ТехИнсайдер
Иллюзия или реальность: почему на кладбище ночью светят могилы? Иллюзия или реальность: почему на кладбище ночью светят могилы?

Свет над могилами — души умерших?

ТехИнсайдер
Владимир Вдовиченков: Владимир Вдовиченков:

"Хочу быть богатым и знаменитым и ничего для этого не делать"

Караван историй
В 17 лет ею выстрелили из пушки. Потом она пела в опере и сломала спину: удивительная история В 17 лет ею выстрелили из пушки. Потом она пела в опере и сломала спину: удивительная история

Не все женщины сетуют на свою хрупкость

ТехИнсайдер
Названы самые безопасные автомобили по результатам краш-тестов. Список Названы самые безопасные автомобили по результатам краш-тестов. Список

Наиболее безопасные модели авто: посмотрите, как их разбили в краш-тестах

РБК
Как выявить чушь в интернете: 10 правил критического мышления Как выявить чушь в интернете: 10 правил критического мышления

Как же правильно проверять информацию в интернете?

Psychologies
Новогоднее обострение: почему нам бывает тоскливо перед праздниками Новогоднее обострение: почему нам бывает тоскливо перед праздниками

Почему среди ярких гирлянд мы впадаем в уныние и чувствуем себя разбитыми?

Psychologies
Возьмут всех, потом разберутся: как Испания принимает стартапы с российскими корнями Возьмут всех, потом разберутся: как Испания принимает стартапы с российскими корнями

В чем особенности испанского венчура

Forbes
6 самых необычных вещей, которые были найдены на местах кораблекрушений 6 самых необычных вещей, которые были найдены на местах кораблекрушений

Морские археологи постоянно находят что-то интересное! Самые необычные находки

ТехИнсайдер
Новое время — новые лица Новое время — новые лица

Женщины нового времени — какие они, что они делают и какие преследуют цели?

OK!
«Медовые дни»: что ждало женщин из Красной Армии в плену у немцев «Медовые дни»: что ждало женщин из Красной Армии в плену у немцев

«Здоровые немецкие офицеры бьют пленную, бьют женщину»

VOICE
Закон равновесия Закон равновесия

Интерьер загородного семейного особняка в стиле контемпорари

SALON-Interior
Здоровая и красивая кожа, пышные волосы и крепкий иммунитет: в каких продуктах содержится витамин Е? Здоровая и красивая кожа, пышные волосы и крепкий иммунитет: в каких продуктах содержится витамин Е?

Креветки, миндаль и авокадо: пополняем запасы витамина Е

ТехИнсайдер
Как правильно фотографировать автомобиль Как правильно фотографировать автомобиль

Для продажи нужно хорошо сфотографировать автомобиль. Так как же это сделать?

4x4 Club
Быть, а не казаться Быть, а не казаться

Шеф-повара смело ломают стереотипы и не боятся двигаться вперед

Bones
Открыть в приложении