Как искусственный интеллект работает со звуком

Популярная механикаHi-Tech

С машинами на одном языке: как компьютеры «слышат» музыку и для чего используют этот навык

Эксперименты с генерацией музыки с помощью искусственного интеллекта начались еще в 50-х годах прошлого века. С тех пор нейросети научились «понимать» и распознавать песни, определять наши вкусы в стриминговых сервисах и даже писать музыкальные произведения на основании данных о движении небесных тел. Как искусственный интеллект работает со звуком и какие прорывные продукты, созданные «кибер-композиторами», мы будем использовать в будущем, рассказывают специалисты «Яндекса».

Как компьютер «видит» звук?

Чтобы машина могла распознать или даже написать мелодию, ей необходимо познакомиться с сотнями музыкальных примеров. Но как поместить звук внутрь компьютерной нейросети, каким образом она может их воспринять? Вспомним учебник физики за девятый класс: источником звука всегда является колеблющееся тело. Это может быть мембрана барабана, натянутая струна или диффузор динамика в наших колонках. Колебания этих тел передаются по воздуху в виде множества волн, попадают на барабанную перепонку человека, раздражают окончания слуховых нервов, и мы слышим звук.

У машины этот процесс протекает иначе. Чтобы она «услышала» музыку, ее нужно преобразовать в набор цифр, понятный компьютеру. Преобразование в цифровой код происходит благодаря процессам дискретизации и квантования. Информация приходит в компьютер в виде непрерывной звуковой волны, «переведенной» в электрический ток. Чтобы описать ее на языке цифр, специальный преобразователь «нарезает» эту волну на очень маленькие отрезки длиной в несколько миллисекунд. Это дискретизация — процесс, когда непрерывная волна становится поделенной на части, то есть дискретной. Однако даже в самых крохотных отрезках звук представляет собой продолжительный кусочек волны. Для удобства преобразователь «округляет» его значения, измеренные во время дискретизации, и представляет в виде точки. Такой процесс называется квантованием.

В итоге вся волна превращается в набор точек, которым остается только присвоить цифровые коды. Другими словами, мы получаем большой набор цифр, описывающий каждый фрагмент песни. Эти числа можно внести в одну большую таблицу, а можно отобразить наглядно в виде спектрограммы. Так называют графическое изображение звуков в системе координат, где по вертикальной оси располагаются звуковые частоты (от высоких звуков до низких), а по горизонтальной — время. Чем теплее и ярче цвет на спектрограмме, тем интенсивнее звук в этом месте. Описать спектрограмму словами непросто, так что лучше сразу посмотрите, как она выглядит.

06b98161ad1203ae0bfc1ef4cbccf906.png
wikipedia.org

Еще более наглядное объяснение этого процесса дается в рамках «Урока Цифры» от Яндекса — «Цифровое искусство: музыка и IT». В этом проекте эксперты компании рассказывают о музыкальной оцифровке, теории звука, системах рекомендаций в медиасервисах, а после теоретической части участники могут попробовать самостоятельно продолжить композицию. Уроки и задания предназначены для школьников, но взрослым они тоже будут интересны.

Как ИИ распознает музыку и рекомендует песни?

Способность искусственного интеллекта представлять музыку цифровым кодом нашла практическое применение в нашей жизни. Именно благодаря спектрограммам нейросети анализируют и распознают музыку, чтобы, например, с помощью Shazam находить похожие треки. Когда приложение «слышит» композицию, оно сравнивает ее спектрограмму со множеством других из базы данных и отыскивает совпадения. При этом искусственный интеллект распознает мелодию даже сквозь помехи вроде голосов за соседним столиком или шума машин.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

10 знаменитых средневековых путешественников 10 знаменитых средневековых путешественников

История каждого средневекового путешественника — это приключенческий роман

Популярная механика
Глобальное наводнение: какие города и страны окажутся под водой к 2100 году Глобальное наводнение: какие города и страны окажутся под водой к 2100 году

Глобальное потепление буквально смоет города и страны с лица Земли

Популярная механика
«Осторожно, затягивает»: как ледоколы ломают лед (на самом деле) «Осторожно, затягивает»: как ледоколы ломают лед (на самом деле)

Может ли мощное судно проиграть битву со льдом?

ТехИнсайдер
Мифы и реалии анестезиологии Мифы и реалии анестезиологии

Анестезиология — terra incognita не только для пациентов, но и для многих врачей

Наука и жизнь
Глобализация по-азиатски: как Восток диктует моду, финансы и контент Глобализация по-азиатски: как Восток диктует моду, финансы и контент

Почему Запад больше не задает моду, а учится у Азии

Правила жизни
Интеллектуальная проза. 10 книг, которые стоит прочитать Интеллектуальная проза. 10 книг, которые стоит прочитать

Любимые мастера интеллектуальной прозы, которых обязательно стоит прочитать

СНОБ
Топ-9 лучших NFT площадок для покупки и продажи Топ-9 лучших NFT площадок для покупки и продажи

Мы рекомендуем использовать только проверенные площадки для торговли NFT

CHIP
Есть ли разница между вкусами Coca-Cola и Pepsi: великое противостояние брендов Есть ли разница между вкусами Coca-Cola и Pepsi: великое противостояние брендов

Coca-Cola или Pepsi? Различаются ли они?

ТехИнсайдер
Проси так, чтобы точно сбылось: 10 секретов для исполнения желаний Проси так, чтобы точно сбылось: 10 секретов для исполнения желаний

Мы узнали у эзотерика, как правильно попросить исполнения желания

VOICE
5 диких традиций, калечащих женщин в разные времена 5 диких традиций, калечащих женщин в разные времена

Бинты, дамское седло, пояс верности и другие традиции, которые калечили женщин

Популярная механика
Боргинг: викинги строили закольцованные крепости не просто так Боргинг: викинги строили закольцованные крепости не просто так

Подобные находки буквально переворачивают все представления о викингах

ТехИнсайдер
Русский костюм изнутри Русский костюм изнутри

«Бывает красота движения и красота покоя. Русский костюм — костюм покоя»

Seasons of life
История лучшего советского микроавтобуса «Юность» История лучшего советского микроавтобуса «Юность»

При взгляде на микроавтобус «Юность» в душе просыпается гордость

Maxim
Имитирующая дыхание подушка снизила беспокойство студентов перед тестом Имитирующая дыхание подушка снизила беспокойство студентов перед тестом

Объятие с подушкой помогло студентам снизить беспокойство перед тестом

N+1
5 способов быстро сварить свеклу, сохранив все витамины 5 способов быстро сварить свеклу, сохранив все витамины

Как быстро сварить свёклу, чтобы она не потеряла своих полезных свойств

Популярная механика
Что означает «йиппи-ка-эй», которым Брюс Уиллис кроет злодеев в «Крепком орешке»? Что означает «йиппи-ка-эй», которым Брюс Уиллис кроет злодеев в «Крепком орешке»?

Разберемся с крепким выражением, которое мы слышали из уст Джона Макклейна

Maxim
Пить или не пить: 7 главных фактов о растворимом кофе, которые нужно знать каждому Пить или не пить: 7 главных фактов о растворимом кофе, которые нужно знать каждому

Из чего делается растворимый кофе и есть ли в нём польза?

Популярная механика
Вячеслав Заренков Вячеслав Заренков

В домах, построенных бизнесменом в Петербурге, живет почти 300 тысяч человек

Собака.ru
Как и когда нужно менять масло в автомате Как и когда нужно менять масло в автомате

Какое масло нужно лить в АКПП и когда его менять?

РБК
Существует ли метеозависимость на самом деле? Мнение ученых Существует ли метеозависимость на самом деле? Мнение ученых

Метеозависимость: правда или миф

VOICE
Самые большие клетки на Земле: таких крупных одноклеточных вы точно еще не видели! Самые большие клетки на Земле: таких крупных одноклеточных вы точно еще не видели!

Рассказываем о рекордсменах среди одноклеточных

Популярная механика
Среди своих Среди своих

Стася Милославская дебютировала на Netflix в детективной драме «С холода»

Harper's Bazaar
Возможно, именно поэтому извержение вулкана на Тонге было таким мощным Возможно, именно поэтому извержение вулкана на Тонге было таким мощным

Вулкан выбросил шлейф газа, пыли и пепла, который улетел на 58 километров в небо

Популярная механика
Своя игра Своя игра

Актриса о том, почему ей интересно бросать себе вызов, а еще о любви и правде

Grazia
Грязь под крышей мира Грязь под крышей мира

Что ждет Катманду в ближайшем будущем?

Вокруг света
Что делать, если передумала быть блондинкой, а уже обесцветила волосы Что делать, если передумала быть блондинкой, а уже обесцветила волосы

Как выйти из круга тонирований и окрашиваний и при этом отлично выглядеть!

Cosmopolitan
Грязную обувь точно надо оставлять за пределами дома — и вот почему Грязную обувь точно надо оставлять за пределами дома — и вот почему

Насколько страшно ходить в обуви по дому?

Популярная механика
Танец воды: 21 самый необычный фонтан мира Танец воды: 21 самый необычный фонтан мира

Современные мастера добавили красоте красок, воде — огня, а трубам — прочности

Вокруг света
Лягушачья морда и птичье лицо: 5 самых необычных средневековых шлемов Лягушачья морда и птичье лицо: 5 самых необычных средневековых шлемов

Самые странные и красивые шлемы эпохи Средневековья

Популярная механика
Птенцы городских синиц справились с жарой лучше лесных сородичей Птенцы городских синиц справились с жарой лучше лесных сородичей

Хотя в городах жарче, смертность птенцов от жары здесь оказалась ниже

N+1
Открыть в приложении