Как искусственный интеллект работает со звуком

Популярная механикаHi-Tech

С машинами на одном языке: как компьютеры «слышат» музыку и для чего используют этот навык

Эксперименты с генерацией музыки с помощью искусственного интеллекта начались еще в 50-х годах прошлого века. С тех пор нейросети научились «понимать» и распознавать песни, определять наши вкусы в стриминговых сервисах и даже писать музыкальные произведения на основании данных о движении небесных тел. Как искусственный интеллект работает со звуком и какие прорывные продукты, созданные «кибер-композиторами», мы будем использовать в будущем, рассказывают специалисты «Яндекса».

Как компьютер «видит» звук?

Чтобы машина могла распознать или даже написать мелодию, ей необходимо познакомиться с сотнями музыкальных примеров. Но как поместить звук внутрь компьютерной нейросети, каким образом она может их воспринять? Вспомним учебник физики за девятый класс: источником звука всегда является колеблющееся тело. Это может быть мембрана барабана, натянутая струна или диффузор динамика в наших колонках. Колебания этих тел передаются по воздуху в виде множества волн, попадают на барабанную перепонку человека, раздражают окончания слуховых нервов, и мы слышим звук.

У машины этот процесс протекает иначе. Чтобы она «услышала» музыку, ее нужно преобразовать в набор цифр, понятный компьютеру. Преобразование в цифровой код происходит благодаря процессам дискретизации и квантования. Информация приходит в компьютер в виде непрерывной звуковой волны, «переведенной» в электрический ток. Чтобы описать ее на языке цифр, специальный преобразователь «нарезает» эту волну на очень маленькие отрезки длиной в несколько миллисекунд. Это дискретизация — процесс, когда непрерывная волна становится поделенной на части, то есть дискретной. Однако даже в самых крохотных отрезках звук представляет собой продолжительный кусочек волны. Для удобства преобразователь «округляет» его значения, измеренные во время дискретизации, и представляет в виде точки. Такой процесс называется квантованием.

В итоге вся волна превращается в набор точек, которым остается только присвоить цифровые коды. Другими словами, мы получаем большой набор цифр, описывающий каждый фрагмент песни. Эти числа можно внести в одну большую таблицу, а можно отобразить наглядно в виде спектрограммы. Так называют графическое изображение звуков в системе координат, где по вертикальной оси располагаются звуковые частоты (от высоких звуков до низких), а по горизонтальной — время. Чем теплее и ярче цвет на спектрограмме, тем интенсивнее звук в этом месте. Описать спектрограмму словами непросто, так что лучше сразу посмотрите, как она выглядит.

06b98161ad1203ae0bfc1ef4cbccf906.png
wikipedia.org

Еще более наглядное объяснение этого процесса дается в рамках «Урока Цифры» от Яндекса — «Цифровое искусство: музыка и IT». В этом проекте эксперты компании рассказывают о музыкальной оцифровке, теории звука, системах рекомендаций в медиасервисах, а после теоретической части участники могут попробовать самостоятельно продолжить композицию. Уроки и задания предназначены для школьников, но взрослым они тоже будут интересны.

Как ИИ распознает музыку и рекомендует песни?

Способность искусственного интеллекта представлять музыку цифровым кодом нашла практическое применение в нашей жизни. Именно благодаря спектрограммам нейросети анализируют и распознают музыку, чтобы, например, с помощью Shazam находить похожие треки. Когда приложение «слышит» композицию, оно сравнивает ее спектрограмму со множеством других из базы данных и отыскивает совпадения. При этом искусственный интеллект распознает мелодию даже сквозь помехи вроде голосов за соседним столиком или шума машин.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

5 космических технологий, которые теперь есть в ваших автомобилях 5 космических технологий, которые теперь есть в ваших автомобилях

Каждому уже удалось увидеть хотя бы частички космической технологии!

Популярная механика
Подходящий возраст Подходящий возраст

Подработка для подростков: как избежать проблем с законом

Лиза
Как проверить, что ИИ достиг уровня интеллекта человека Как проверить, что ИИ достиг уровня интеллекта человека

Как понять, на каком уровне развития находится искусственный интеллект?

ТехИнсайдер
Мультипликатор Антон Дьяков: Анимация может быть яркой, хлесткой, борзой Мультипликатор Антон Дьяков: Анимация может быть яркой, хлесткой, борзой

Интервью с мультипликатором Антоном Дьяковым

СНОБ
7 вещей, которые никогда не делают счастливые люди 7 вещей, которые никогда не делают счастливые люди

Эксперт по счастью: 7 вещей, которые никогда не делают счастливые люди

Inc.
Это не фильм ужасов: муравьи-разрушители принесли с собой гриб-убийцу. Он же их и убьёт Это не фильм ужасов: муравьи-разрушители принесли с собой гриб-убийцу. Он же их и убьёт

Это не буйная фантазия сценариста-садиста, это реальность в районах Техаса

Популярная механика
Как общаться с трудными людьми: 11 правил диалога Как общаться с трудными людьми: 11 правил диалога

11 правил диалога, которые помогут вернуть контакт в общении с близкими

Psychologies
Ложь во спасение: о чем мы врем матерям? Ложь во спасение: о чем мы врем матерям?

Мы нередко обманываем матерей и делаем вид, что все благополучно

Psychologies
Что такое джиротоник и как он помогает получить гибкое тело Что такое джиротоник и как он помогает получить гибкое тело

Как джиротоник помогает получить подтянутое тело и ясную голову?

РБК
Какую бытовую технику нельзя подключать к удлинителю Какую бытовую технику нельзя подключать к удлинителю

Проверьте, знаете ли вы базовые правила электробезопасности?

Популярная механика
Пиво для перца, молоко для огурцов и еще 10 лайфхаков для дачников Пиво для перца, молоко для огурцов и еще 10 лайфхаков для дачников

Советы для всех, кто хочет получить хороший урожай на собственном огороде

Популярная механика
Королева сердец: 5 великодушных и трогательных поступков принцессы Дианы Королева сердец: 5 великодушных и трогательных поступков принцессы Дианы

Принцессу Диану еще при жизни называли королевой сердец

Cosmopolitan
На волосок от смерти: как Константину Шукшину удалось вырваться из цепких лап немцев На волосок от смерти: как Константину Шукшину удалось вырваться из цепких лап немцев

Константин Шукшин не раз оказывался на волоске от смерти

Популярная механика
Достаточно хорошие Достаточно хорошие

В нагрузку к ребенку родителям достается целый воз ожиданий

Psychologies
Волжский колорит Волжский колорит

Здесь можно забраться на утес Стеньки Разина и разглядеть с высоты Змеевы горы

Отдых в России
Генетики обнаружили преемственность между жителями Франции бронзового и железного веков Генетики обнаружили преемственность между жителями Франции бронзового и железного веков

Палеогенетики прочитали геномы людей, живших около 1200–80 годов до нашей эры

N+1
Как эмигрировать и не пожалеть: 5 ошибок, которые легко совершить Как эмигрировать и не пожалеть: 5 ошибок, которые легко совершить

С какими подводными камнями можно столкнуться, начав новую жизнь в другой стране

Psychologies
Диагноз в интернете: чем опасно «гуглить» симптомы при плохом самочувствии Диагноз в интернете: чем опасно «гуглить» симптомы при плохом самочувствии

Gочему не стоит искать симптомы в интернете

Inc.
Сыр в масле: какие профессии в СССР были самыми денежными Сыр в масле: какие профессии в СССР были самыми денежными

Чье благосостояние в СССР было лучше, чем у остальных?

Cosmopolitan
Юсеф Хесуани: «Скоро все будут печатать продукты на домашнем фуд-принтере» Юсеф Хесуани: «Скоро все будут печатать продукты на домашнем фуд-принтере»

Как биопринтинг повлияет на наше будущее

РБК
Как быстро уснуть и победить бессонницу: приемы, которые сработают Как быстро уснуть и победить бессонницу: приемы, которые сработают

Простые и эффективные лайфхаки, которые помогут тебе уснуть буквально за минуту

VOICE
Непростое украшенье: почему обручальное кольцо носят на правой руке? Непростое украшенье: почему обручальное кольцо носят на правой руке?

Обязательно ли носить обручальное кольцо и как не ошибиться в выборе?

Cosmopolitan
Если на свидание пришел совсем не тот, кого ты ждала Если на свидание пришел совсем не тот, кого ты ждала

Истории знакомств пошли не по плану. Зато было весело!

Лиза
Россия собирается отправить на Марс «робота-кентавра» Россия собирается отправить на Марс «робота-кентавра»

Экспедицию на Красную планету Роскосмос планирует организовать самостоятельно

Популярная механика
5 шагов, чтобы научиться любить 5 шагов, чтобы научиться любить

Почему мы не можем терпеливо относиться к взрослым, которых любим?

Psychologies
Встреча в Сандунах Встреча в Сандунах

Как правильно париться, какой пар «легкий», а какой «тяжелый»?

Отдых в России
История одного здания: Московская удельная контора История одного здания: Московская удельная контора

Усадьба, которая вошла в историю как Московская удельная контора

Культура.РФ
Когда зажегся свет. Астрономы создали модель Когда зажегся свет. Астрономы создали модель

Было время, когда наша Вселенная была не чем иным, как непрозрачным газом

Популярная механика
На природе без смартфонов, алкоголя и разговоров о работе: как устроен детокс-лагерь для взрослых На природе без смартфонов, алкоголя и разговоров о работе: как устроен детокс-лагерь для взрослых

Офлайн лагерь для взрослых

VC.RU
Маленький принц: почему поведение Уилла Смита — подтверждение того, что Маленький принц: почему поведение Уилла Смита — подтверждение того, что

Почему Крис Рок не заслужил удара по лицу, а Смит, кажется, заигрался

Esquire
Открыть в приложении