Как искусственный интеллект работает со звуком

Популярная механикаHi-Tech

С машинами на одном языке: как компьютеры «слышат» музыку и для чего используют этот навык

Эксперименты с генерацией музыки с помощью искусственного интеллекта начались еще в 50-х годах прошлого века. С тех пор нейросети научились «понимать» и распознавать песни, определять наши вкусы в стриминговых сервисах и даже писать музыкальные произведения на основании данных о движении небесных тел. Как искусственный интеллект работает со звуком и какие прорывные продукты, созданные «кибер-композиторами», мы будем использовать в будущем, рассказывают специалисты «Яндекса».

Как компьютер «видит» звук?

Чтобы машина могла распознать или даже написать мелодию, ей необходимо познакомиться с сотнями музыкальных примеров. Но как поместить звук внутрь компьютерной нейросети, каким образом она может их воспринять? Вспомним учебник физики за девятый класс: источником звука всегда является колеблющееся тело. Это может быть мембрана барабана, натянутая струна или диффузор динамика в наших колонках. Колебания этих тел передаются по воздуху в виде множества волн, попадают на барабанную перепонку человека, раздражают окончания слуховых нервов, и мы слышим звук.

У машины этот процесс протекает иначе. Чтобы она «услышала» музыку, ее нужно преобразовать в набор цифр, понятный компьютеру. Преобразование в цифровой код происходит благодаря процессам дискретизации и квантования. Информация приходит в компьютер в виде непрерывной звуковой волны, «переведенной» в электрический ток. Чтобы описать ее на языке цифр, специальный преобразователь «нарезает» эту волну на очень маленькие отрезки длиной в несколько миллисекунд. Это дискретизация — процесс, когда непрерывная волна становится поделенной на части, то есть дискретной. Однако даже в самых крохотных отрезках звук представляет собой продолжительный кусочек волны. Для удобства преобразователь «округляет» его значения, измеренные во время дискретизации, и представляет в виде точки. Такой процесс называется квантованием.

В итоге вся волна превращается в набор точек, которым остается только присвоить цифровые коды. Другими словами, мы получаем большой набор цифр, описывающий каждый фрагмент песни. Эти числа можно внести в одну большую таблицу, а можно отобразить наглядно в виде спектрограммы. Так называют графическое изображение звуков в системе координат, где по вертикальной оси располагаются звуковые частоты (от высоких звуков до низких), а по горизонтальной — время. Чем теплее и ярче цвет на спектрограмме, тем интенсивнее звук в этом месте. Описать спектрограмму словами непросто, так что лучше сразу посмотрите, как она выглядит.

06b98161ad1203ae0bfc1ef4cbccf906.png
wikipedia.org

Еще более наглядное объяснение этого процесса дается в рамках «Урока Цифры» от Яндекса — «Цифровое искусство: музыка и IT». В этом проекте эксперты компании рассказывают о музыкальной оцифровке, теории звука, системах рекомендаций в медиасервисах, а после теоретической части участники могут попробовать самостоятельно продолжить композицию. Уроки и задания предназначены для школьников, но взрослым они тоже будут интересны.

Как ИИ распознает музыку и рекомендует песни?

Способность искусственного интеллекта представлять музыку цифровым кодом нашла практическое применение в нашей жизни. Именно благодаря спектрограммам нейросети анализируют и распознают музыку, чтобы, например, с помощью Shazam находить похожие треки. Когда приложение «слышит» композицию, оно сравнивает ее спектрограмму со множеством других из базы данных и отыскивает совпадения. При этом искусственный интеллект распознает мелодию даже сквозь помехи вроде голосов за соседним столиком или шума машин.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

7 комнатных растений, которые не ядовиты для домашних животных: ваша кошка будет в безопасности 7 комнатных растений, которые не ядовиты для домашних животных: ваша кошка будет в безопасности

Расскажем о совершенно безопасных для питомцев растениях

Популярная механика
10 простых советов, как привести себя в форму к лету 10 простых советов, как привести себя в форму к лету

Перефразируя пословицу, готовь сани летом, а фигуру – зимой. Или хотя бы весной

Лиза
Как искусственный интеллект меняет бьюти-индустрию Как искусственный интеллект меняет бьюти-индустрию

Как технологии ИИ ежедневно помогают бьюти-мастерам в работе?

Inc.
Что ждет человечество в будущем: прогноз от физика Митио Каку Что ждет человечество в будущем: прогноз от физика Митио Каку

Митио Каку рассказал о том, что по его мнению ждет человечество в будущем

Популярная механика
7 законов психологии, которые изменят твою жизнь: что о них нужно знать и как ими пользоваться 7 законов психологии, которые изменят твою жизнь: что о них нужно знать и как ими пользоваться

Что такое законы психологии и как правильно их применять

VOICE
Тело говорит! Тело говорит!

Как научиться транслировать людям правильные сигналы?

Cosmopolitan
«Письмо о хорошем», «каляки» и другие практики для снижения стресса «Письмо о хорошем», «каляки» и другие практики для снижения стресса

Сосредоточиться на делах невозможно, а мысли о будущем вызывают тревогу?

Psychologies
Как эмигрировать и не пожалеть: 5 ошибок, которые легко совершить Как эмигрировать и не пожалеть: 5 ошибок, которые легко совершить

С какими подводными камнями можно столкнуться, начав новую жизнь в другой стране

Psychologies
Машиноместо Машиноместо

Дом для семьи и коллекции автомобилей

Robb Report
«Нечистая сила»: как в СССР травили знаменитую стахановку Мамлакат Нахангову «Нечистая сила»: как в СССР травили знаменитую стахановку Мамлакат Нахангову

Мамлакат Нахангова — одна из самых знаменитых ударниц СССР.

Cosmopolitan
«Беги, пока не станет хуже»: роман о женщине, спасавшей еврейских детей во Франции «Беги, пока не станет хуже»: роман о женщине, спасавшей еврейских детей во Франции

Отрывок из романа Кристин Хармель «Книга утраченных имен»

Forbes
6 книг, которые помогут сохранить красоту и здоровье в любом возрасте 6 книг, которые помогут сохранить красоту и здоровье в любом возрасте

Книги, которые помогут вести здоровый образ жизни в любом возрасте

Популярная механика
Анна Винтур Анна Винтур

Анна Винтур — прототип Миранды Пристли из «Дьявол носит Prada»

ЖАРА Magazine
5 диких традиций, калечащих женщин в разные времена 5 диких традиций, калечащих женщин в разные времена

Бинты, дамское седло, пояс верности и другие традиции, которые калечили женщин

Популярная механика
Звуковое сопровождение Звуковое сопровождение

Как бывший журналист создал в Германии приложение Endel для релаксации

Forbes
Удивительная история матери Юрия Гагарина: женщина, воспитавшая космонавта Удивительная история матери Юрия Гагарина: женщина, воспитавшая космонавта

Когда ее спрашивали, как ей удалось воспитать такого сына, она всегда удивлялась

Популярная механика
«Хоть еще одного любовника заводи»: истории женщин, которые постоянно хотят секса (и страдают от этого) «Хоть еще одного любовника заводи»: истории женщин, которые постоянно хотят секса (и страдают от этого)

Анонимные откровения героинь, которыми они больше ни с кем не могут поделиться

Playboy
Пионер технического прогресса Пионер технического прогресса

Андрей Нартов — личный токарь Петра Великого, изобретатель, педагог и художник

Дилетант
Так ли безобидны? Когда капли для глаз могут навредить Так ли безобидны? Когда капли для глаз могут навредить

Многие используют капли при любом дискомфорте глаз. А безопасно ли это?

Лиза
Как переход к NFT превратил разработчика мобильных игр в многомиллиардную корпорацию Как переход к NFT превратил разработчика мобильных игр в многомиллиардную корпорацию

Как NFT влияет на мобильные игры

Forbes
Ругался с Пугачевой, терял штаны: 5 скандальных выходок Владимира Жириновского Ругался с Пугачевой, терял штаны: 5 скандальных выходок Владимира Жириновского

Имя этого политика знают во всем мире, во многом благодаря громким высказываниям

Cosmopolitan
«Я все равно буду счастлива!»: история Зинаиды Михайловны Туснолобовой-Марченко, которая без рук и ног прошла вoйну «Я все равно буду счастлива!»: история Зинаиды Михайловны Туснолобовой-Марченко, которая без рук и ног прошла вoйну

Ее жизнь — это настоящая летопись борьбы с тем, что невозможно победить

Популярная механика
Экологический барьер Экологический барьер

Новые правила по утилизации упаковки несут риски для аграрного сектора

Агроинвестор
С чего начать половое воспитание: рассказывает врач-психотерапевт С чего начать половое воспитание: рассказывает врач-психотерапевт

В каком возрасте и что говорить ребенку о половом воспитании?

Psychologies
Взяться за руки: о чем говорит язык тела Взяться за руки: о чем говорит язык тела

Прикосновение к руке другого человека может быть очень мощным сигналом

Psychologies
Мертвая хватка: 10 животных с мощнейшими укусами. Держитесь от них подальше Мертвая хватка: 10 животных с мощнейшими укусами. Держитесь от них подальше

Сегодня мы расскажем вам о 10-ти животных с самым сильным укусом

ТехИнсайдер

"Правда или действие" — совсем недетская игра

Playboy
«В тюрьму за глупости»: странные законы разных стран, о которых стоит знать туристам «В тюрьму за глупости»: странные законы разных стран, о которых стоит знать туристам

Незнание даже экзотических законов не освобождает от ответственности

Вокруг света
Мужская берлога Мужская берлога

Усадьба с экстерьером в скандинавском стиле и удивительной планировкой

Идеи Вашего Дома
Не кешбэком единым Не кешбэком единым

Седьмое ежегодное исследование, посвященное развитию туризма российских регионов

Отдых в России
Открыть в приложении