Генеративная музыка: как создать хит по собственному вкусу

ТехИнсайдерHi-Tech

Слова вместо нот

Создано ИИ

После того как мы наигрались с графическими нейросетями Midjourney, DALL-E 2 и Stable Diffusion и даже нарисовали себе при их помощи обложку и часть журнала, возник вопрос, когда появятся подобные музыкальные сервисы. Пишешь: «хочу что-то в стиле калифорнийского серф-рока, но чтобы на гитаре играл Джими Хендрикс, на барабанах – Джон Бонэм, а вокал был от Сэм Браун» – и тебе нейросеть генерит персональный хит. Первый же запрос в Google «text-to-music» выдал в поиске Mubert – проект с российскими корнями, о котором мы писали еще в 2019 году и который с тех пор стал одним из лидеров в мире генеративной музыки. И я отправился к сооснователю Mubert Павлу Згордану, который отвечает в компании за это направление.

В основе технологии генеративной музыки Mubert лежит огромная база семплов – небольших музыкальных партий размером от 1 до 64 тактов, из которых алгоритм, как из кирпичиков, строит музыкальную композицию. В 2019 году коллекция Mubert исчислялась сотнями тысяч семплов, сегодня счет идет на миллионы, и каждый месяц добавляются новые. Mubert покупает их через собственную биржу. «Сейчас мы платим около 50 центов за семпл, и музыканты, которые сотрудничают с нами, зарабатывают на этом в среднем по 500–600 долл. в месяц. Фрагменты необязательно должны сильно отличаться друг от друга – могут быть просто вариации». Собственно, семплы – единственное, что осталось от старого Mubert: все алгоритмы и движки были кардинально переработаны. Старый алгоритм на основе лайков/дизлайков считал так: «если вам понравилось это сочетание звуков, то послушайте теперь вот такое – оно понравилось кому-то с аналогичными предпочтениями». Сейчас результаты выбора прогоняются через нейросеть и преобразуются в некий вектор в многомерном пространстве. Mubert изучил множество данных по трекам в разных жанрах, и музыка стала четче совпадать с ожиданиями пользователей.

«А еще мы сделали драм-машину – она играет барабанные партии, которые уже научилась сама придумывать, – рассказывает Павел Згордан. – Когда запускается трек из присланных семплов, мы вырезаем из них небольшие кусочки, а драммашина создает новый ритм».

Раньше музыкант при загрузке семплов должен был их тегировать; сейчас этого делать не надо: нейросеть по спектральному анализу определяет, что за звук перед ней, какой играет инструмент и пр., и сама маркирует его. Еще внедрили систему автоматического сведения треков – выстраивание баланса громкости, чем обычно занимаются звукорежиссеры. А в финале – автоматический мастеринг, шлифовка трека эквалайзерами и компрессорами. Все это уже работает в генераторе музыки для создателей контента Mubert Render.

Mubert Render

Классное, кстати, приложение! Сколько раз мы в редакции сталкивались с проблемами подборки нужного музыкального трека для нашего видео. Чуть что не так с авторскими правами – и тот же YouTube блокирует ролик. Приходится обращаться к знакомым композиторам, а это лишние траты и времени, и денег.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Вояж на батарейках Вояж на батарейках

Долго ли нам осталось ждать пришествия электрической авиации?

Популярная механика
Санта-Киллер: история старика, убивавшего женщин, которых не радовало Рождество Санта-Киллер: история старика, убивавшего женщин, которых не радовало Рождество

Благообразный старичок искренне верил, что делает мир лучше

VOICE
Все уровни беспилотности Все уровни беспилотности

Из пункта А в пункт Б выехал автомобиль — казалось бы, что может быть проще?

ТехИнсайдер
Знакомим тебя с великолепными футболистками женской сборной России Знакомим тебя с великолепными футболистками женской сборной России

Знакомимся с прекрасной половиной российского футбола

Maxim
Молекулы скорости Молекулы скорости

В заездах Nanocar Race II принимают участие молекулярные машины

ТехИнсайдер
Дрожь земли Дрожь земли

В 2023 году 90 лет исполняется Уралмашзаводу

Men Today
Звуковая диагностика Звуковая диагностика

В «Норникеле» научились определять неполадки на слух

ТехИнсайдер
Как не стыдно: все забыли настоящее имя медведя, и почему его жилище называется берлога, а не медвелога? Как не стыдно: все забыли настоящее имя медведя, и почему его жилище называется берлога, а не медвелога?

Какое настоящее имя у косолапого сладкоешки?

ТехИнсайдер
Спуск на Эверест Спуск на Эверест

Спелеология – это наука плюс спорт. Рекордные глубины пещер в нашем материале

ТехИнсайдер
Преждевременная эякуляция — или почему мужчины быстро кончают Преждевременная эякуляция — или почему мужчины быстро кончают

Сексуальная жизнь - дело непростое

ТехИнсайдер
Нюрнбергские расовые законы Нюрнбергские расовые законы

Антисемитизм лежал в основе нацистской идеологии

Дилетант
Запах Нового года: 5 простых блюд с мандаринами, которые сможет приготовить даже тот, кто ни разу не стоял у плиты! Запах Нового года: 5 простых блюд с мандаринами, которые сможет приготовить даже тот, кто ни разу не стоял у плиты!

Из мандаринов можно приготовить десерт, коктейль и даже салат!

ТехИнсайдер
Прикоснёмся к феерии Прикоснёмся к феерии

Русский плакат рубежа веков

Наука и жизнь
Убийства в «проклятом треугольнике»: история маньяка-черноколготочника Юрия Цюмана Убийства в «проклятом треугольнике»: история маньяка-черноколготочника Юрия Цюмана

Юрий Цюман: советский серийный убийца и насильник из Таганрога

VOICE
Инженеры Toyota используют накладные ногти и наколенники, чтобы улучшить эргономику интерьера Инженеры Toyota используют накладные ногти и наколенники, чтобы улучшить эргономику интерьера

Процесс создания интерьера гораздо сложнее, чем вы думаете

4x4 Club
«И вот она нарядная на праздник к нам пришла»: кто и как придумал украшать новогоднюю елку игрушками? «И вот она нарядная на праздник к нам пришла»: кто и как придумал украшать новогоднюю елку игрушками?

Откуда появилась такая традиция — вешать на ветви дерева украшения?

ТехИнсайдер
Дмитрий Захаров: «Комитет охраны мостов». Книга Сибири Дмитрий Захаров: «Комитет охраны мостов». Книга Сибири

Отрывок из остросоциального романа о Сибири

СНОБ
Руккола: особенности, польза и вред модной зелени Руккола: особенности, польза и вред модной зелени

Рассказываем о модном листовом овоще: кому он особенно полезен, а кому не очень

VOICE
Как установить приложение на Android, если его нет в магазине? Как установить приложение на Android, если его нет в магазине?

Два рабочих варианта добавления отсутствующего во встроенном магазине софта

ТехИнсайдер
Алексей Лепорк: «Соблазненная архитектура» Алексей Лепорк: «Соблазненная архитектура»

Сборник эссе о важном из произошедшего в архитектуре за последние десятилетия

СНОБ
Мышление трудоголика: 7 ошибок — как перестать работать на износ Мышление трудоголика: 7 ошибок — как перестать работать на износ

Типичные мыслительные паттерны, которые свойственны трудоголикам

Psychologies
Михельсон и пустота: что не так с Домом культуры «ГЭС-2» за $470 млн Михельсон и пустота: что не так с Домом культуры «ГЭС-2» за $470 млн

Почему Дом культуры «ГЭС-2» называют мертворожденным и лишенным смыслов?

Forbes
Создан клеточный «клей» для регенерации тканей, заживления ран и восстановления нервов Создан клеточный «клей» для регенерации тканей, заживления ран и восстановления нервов

Открытие представляет собой важный шаг к созданию регенеративной медицины

ТехИнсайдер
На стороне надежды На стороне надежды

Как Аки Каурисмяки превратил доброту в достоинство и достоинство в доброту

Weekend
Как очистить кэш на Андроиде: избавляемся от мусора Как очистить кэш на Андроиде: избавляемся от мусора

Рассказываем, как очистить кэш на Андроиде, Самсунг, Сяоми, Редми

CHIP
Все побежали, и я побежал Все побежали, и я побежал

Как полюбить тренировки в мороз и как делать это безопасно?

Правила жизни
«Письмо молодому мне»: трогательное послание футболиста Пеле «Письмо молодому мне»: трогательное послание футболиста Пеле

В 2016 году Пеле написал откровенное послание — самому себе в юности

Psychologies
Что происходит с телом, когда ты читаешь плохие новости, и как ему помочь Что происходит с телом, когда ты читаешь плохие новости, и как ему помочь

Информационное цунами уносит нас в открытый океан негатива

Лиза
Валерий Фокин: Валерий Фокин:

Валерий Фокин делится воспоминаниями о начале своей карьеры

Караван историй
Почему в теннисе такая странная система подсчета очков: 15, 30, 40 Почему в теннисе такая странная система подсчета очков: 15, 30, 40

Система подсчета очков в теннисе смущает не только обывателей

ТехИнсайдер
Открыть в приложении