Генеративная музыка: как создать хит по собственному вкусу

ТехИнсайдерHi-Tech

Слова вместо нот

Создано ИИ

После того как мы наигрались с графическими нейросетями Midjourney, DALL-E 2 и Stable Diffusion и даже нарисовали себе при их помощи обложку и часть журнала, возник вопрос, когда появятся подобные музыкальные сервисы. Пишешь: «хочу что-то в стиле калифорнийского серф-рока, но чтобы на гитаре играл Джими Хендрикс, на барабанах – Джон Бонэм, а вокал был от Сэм Браун» – и тебе нейросеть генерит персональный хит. Первый же запрос в Google «text-to-music» выдал в поиске Mubert – проект с российскими корнями, о котором мы писали еще в 2019 году и который с тех пор стал одним из лидеров в мире генеративной музыки. И я отправился к сооснователю Mubert Павлу Згордану, который отвечает в компании за это направление.

В основе технологии генеративной музыки Mubert лежит огромная база семплов – небольших музыкальных партий размером от 1 до 64 тактов, из которых алгоритм, как из кирпичиков, строит музыкальную композицию. В 2019 году коллекция Mubert исчислялась сотнями тысяч семплов, сегодня счет идет на миллионы, и каждый месяц добавляются новые. Mubert покупает их через собственную биржу. «Сейчас мы платим около 50 центов за семпл, и музыканты, которые сотрудничают с нами, зарабатывают на этом в среднем по 500–600 долл. в месяц. Фрагменты необязательно должны сильно отличаться друг от друга – могут быть просто вариации». Собственно, семплы – единственное, что осталось от старого Mubert: все алгоритмы и движки были кардинально переработаны. Старый алгоритм на основе лайков/дизлайков считал так: «если вам понравилось это сочетание звуков, то послушайте теперь вот такое – оно понравилось кому-то с аналогичными предпочтениями». Сейчас результаты выбора прогоняются через нейросеть и преобразуются в некий вектор в многомерном пространстве. Mubert изучил множество данных по трекам в разных жанрах, и музыка стала четче совпадать с ожиданиями пользователей.

«А еще мы сделали драм-машину – она играет барабанные партии, которые уже научилась сама придумывать, – рассказывает Павел Згордан. – Когда запускается трек из присланных семплов, мы вырезаем из них небольшие кусочки, а драммашина создает новый ритм».

Раньше музыкант при загрузке семплов должен был их тегировать; сейчас этого делать не надо: нейросеть по спектральному анализу определяет, что за звук перед ней, какой играет инструмент и пр., и сама маркирует его. Еще внедрили систему автоматического сведения треков – выстраивание баланса громкости, чем обычно занимаются звукорежиссеры. А в финале – автоматический мастеринг, шлифовка трека эквалайзерами и компрессорами. Все это уже работает в генераторе музыки для создателей контента Mubert Render.

Mubert Render

Классное, кстати, приложение! Сколько раз мы в редакции сталкивались с проблемами подборки нужного музыкального трека для нашего видео. Чуть что не так с авторскими правами – и тот же YouTube блокирует ролик. Приходится обращаться к знакомым композиторам, а это лишние траты и времени, и денег.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Звуковая диагностика Звуковая диагностика

В «Норникеле» научились определять неполадки на слух

ТехИнсайдер
Основательницы бренда 4FORMS — о моде plus size и принятии себя Основательницы бренда 4FORMS — о моде plus size и принятии себя

Как создается мода plus-size в России?

РБК
Вояж на батарейках Вояж на батарейках

Долго ли нам осталось ждать пришествия электрической авиации?

Популярная механика
Брюс Уиллис, Санта Клаус и все-все-все. 10 самых новогодних фильмов для всей семьи Брюс Уиллис, Санта Клаус и все-все-все. 10 самых новогодних фильмов для всей семьи

Осторожно — в этой подборке фильмов слишком много рождественского духа!

ТехИнсайдер
Спуск на Эверест Спуск на Эверест

Спелеология – это наука плюс спорт. Рекордные глубины пещер в нашем материале

ТехИнсайдер
Нормальная родня: как кино учит нас здоровым отношениям Нормальная родня: как кино учит нас здоровым отношениям

Как сценаристы и режиссеры по-новому показывают родственные связи

Forbes
Молекулы скорости Молекулы скорости

В заездах Nanocar Race II принимают участие молекулярные машины

ТехИнсайдер
Центральный федеральный округ Центральный федеральный округ

Центральный округ лидирует в первую очередь — по обороту

Правила жизни
Все уровни беспилотности Все уровни беспилотности

Из пункта А в пункт Б выехал автомобиль — казалось бы, что может быть проще?

ТехИнсайдер
Болит спина от сидячей работы: что нужно сделать, чтобы почувствовать себя лучше уже завтра Болит спина от сидячей работы: что нужно сделать, чтобы почувствовать себя лучше уже завтра

Как помочь себе и своей спине, если весь день проводишь сидя?

VOICE
Дитя ночи: история Евы Ионеско, которая снимает фильмы о сексуальной эксплуатации Дитя ночи: история Евы Ионеско, которая снимает фильмы о сексуальной эксплуатации

Ева Ионеско в 11 снялась для Playboy и дебютировала в фильме для взрослых

Forbes
12 книг, которые помогут развить главный навык XXI века 12 книг, которые помогут развить главный навык XXI века

Книги, которые помогут развить умение быстро адаптироваться к изменениям

Inc.
Антимиры Антимиры

Теоретически могут существовать целые антигалактики, заполненные антизвездами

ТехИнсайдер
Как уйти от абьюзера без последствий: 5 важных правил Как уйти от абьюзера без последствий: 5 важных правил

Как не стать заложником чужой неадекватности и абьюза?

Psychologies
5 крутых мест в Москве, о которых знают далеко не все москвичи 5 крутых мест в Москве, о которых знают далеко не все москвичи

Столичные локации для прогулок, про которые знают не все москвичи

Maxim
Почему черные кошки приносят неудачу: история суеверия Почему черные кошки приносят неудачу: история суеверия

Откуда появилось суеверие “черный кот — к неудачам”

ТехИнсайдер
Едим дома Едим дома

Как выбрать подходящий сервис доставки готовой еды

Лиза
Мэрилин Монро и пограничное расстройство личности. Что мы знаем о «звездном» диагнозе Мэрилин Монро и пограничное расстройство личности. Что мы знаем о «звездном» диагнозе

На примерах звезд разбираемся, какое слово в аббревиатуре ПРЛ ключевое

Psychologies
«Доброе утро, монстр!»: истории об абьюзе и предательсве из кабинета психотерапевта «Доброе утро, монстр!»: истории об абьюзе и предательсве из кабинета психотерапевта

Отрывок из книги Кэтрин Гилдин «Доброе утро, монстр!»

Forbes
Почему мы изменяем: 4 причины — проверьте ваши отношения Почему мы изменяем: 4 причины — проверьте ваши отношения

Если нас обманули однажды, где гарантия, что этого не случится снова?

Psychologies
Вот что спасет женщин от перелома шейки бедра: несколько продуктов и советы ученых Вот что спасет женщин от перелома шейки бедра: несколько продуктов и советы ученых

Белок и чашка кофе: что может снизить риск перелома бедра у женщин

ТехИнсайдер
Своя история Своя история

Квинтэссенция творческого потенциала и дизайнерских предпочтений

SALON-Interior
Салават Салават

Стилист Виктория Чураева запустила собственный бренд The Sxslvt

Собака.ru
Кашляние, хмыкание и моргание: в чем причина нервных тиков и можно ли от них избавиться Кашляние, хмыкание и моргание: в чем причина нервных тиков и можно ли от них избавиться

Почему появляются нервные тики и можно ли от них излечиться?

Psychologies
Последствия операций, которые удивят любого! Короткие и реальные истории Последствия операций, которые удивят любого! Короткие и реальные истории

Удивительные истории, о которых ежедневно сообщают медики

ТехИнсайдер
Пчелиный алкоголизм, слизняк-воришка и кетчуп как средство от облысения: 20 поразительных фактов со всего света Пчелиный алкоголизм, слизняк-воришка и кетчуп как средство от облысения: 20 поразительных фактов со всего света

Фобия Мадонны и универсальное средство от диареи и облысения

ТехИнсайдер
«18 — детский возраст»: психолог объясняет, почему это так «18 — детский возраст»: психолог объясняет, почему это так

В 18–20 лет мы кажемся себе взрослыми, но мозг еще далек от зрелости

Psychologies
Отрывок из романа Джеймса Хогга, впервые переведенного на русский Отрывок из романа Джеймса Хогга, впервые переведенного на русский

Отрывок из истории Джеймса Хогга о жестоких преступлений XVII–XVIII веков

СНОБ
Ирония судьбы — главный новогодний фильм СССР и России. Рассказываем историю его создания Ирония судьбы — главный новогодний фильм СССР и России. Рассказываем историю его создания

Как шла работа над главным новогодним фильмом России и СССР

Правила жизни
«Электронная почта» нашего мозга: что нужно знать о памяти «Электронная почта» нашего мозга: что нужно знать о памяти

Что такое память, как она формируется и как научить ее работать на себя?

Psychologies
Открыть в приложении