Как искусственный интеллект работает со звуком

Популярная механикаHi-Tech

С машинами на одном языке: как компьютеры «слышат» музыку и для чего используют этот навык

Эксперименты с генерацией музыки с помощью искусственного интеллекта начались еще в 50-х годах прошлого века. С тех пор нейросети научились «понимать» и распознавать песни, определять наши вкусы в стриминговых сервисах и даже писать музыкальные произведения на основании данных о движении небесных тел. Как искусственный интеллект работает со звуком и какие прорывные продукты, созданные «кибер-композиторами», мы будем использовать в будущем, рассказывают специалисты «Яндекса».

Как компьютер «видит» звук?

Чтобы машина могла распознать или даже написать мелодию, ей необходимо познакомиться с сотнями музыкальных примеров. Но как поместить звук внутрь компьютерной нейросети, каким образом она может их воспринять? Вспомним учебник физики за девятый класс: источником звука всегда является колеблющееся тело. Это может быть мембрана барабана, натянутая струна или диффузор динамика в наших колонках. Колебания этих тел передаются по воздуху в виде множества волн, попадают на барабанную перепонку человека, раздражают окончания слуховых нервов, и мы слышим звук.

У машины этот процесс протекает иначе. Чтобы она «услышала» музыку, ее нужно преобразовать в набор цифр, понятный компьютеру. Преобразование в цифровой код происходит благодаря процессам дискретизации и квантования. Информация приходит в компьютер в виде непрерывной звуковой волны, «переведенной» в электрический ток. Чтобы описать ее на языке цифр, специальный преобразователь «нарезает» эту волну на очень маленькие отрезки длиной в несколько миллисекунд. Это дискретизация — процесс, когда непрерывная волна становится поделенной на части, то есть дискретной. Однако даже в самых крохотных отрезках звук представляет собой продолжительный кусочек волны. Для удобства преобразователь «округляет» его значения, измеренные во время дискретизации, и представляет в виде точки. Такой процесс называется квантованием.

В итоге вся волна превращается в набор точек, которым остается только присвоить цифровые коды. Другими словами, мы получаем большой набор цифр, описывающий каждый фрагмент песни. Эти числа можно внести в одну большую таблицу, а можно отобразить наглядно в виде спектрограммы. Так называют графическое изображение звуков в системе координат, где по вертикальной оси располагаются звуковые частоты (от высоких звуков до низких), а по горизонтальной — время. Чем теплее и ярче цвет на спектрограмме, тем интенсивнее звук в этом месте. Описать спектрограмму словами непросто, так что лучше сразу посмотрите, как она выглядит.

06b98161ad1203ae0bfc1ef4cbccf906.png
wikipedia.org

Еще более наглядное объяснение этого процесса дается в рамках «Урока Цифры» от Яндекса — «Цифровое искусство: музыка и IT». В этом проекте эксперты компании рассказывают о музыкальной оцифровке, теории звука, системах рекомендаций в медиасервисах, а после теоретической части участники могут попробовать самостоятельно продолжить композицию. Уроки и задания предназначены для школьников, но взрослым они тоже будут интересны.

Как ИИ распознает музыку и рекомендует песни?

Способность искусственного интеллекта представлять музыку цифровым кодом нашла практическое применение в нашей жизни. Именно благодаря спектрограммам нейросети анализируют и распознают музыку, чтобы, например, с помощью Shazam находить похожие треки. Когда приложение «слышит» композицию, оно сравнивает ее спектрограмму со множеством других из базы данных и отыскивает совпадения. При этом искусственный интеллект распознает мелодию даже сквозь помехи вроде голосов за соседним столиком или шума машин.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Цепь переменного токена: почему NFT считают фикцией, но все равно покупают Цепь переменного токена: почему NFT считают фикцией, но все равно покупают

Имеет ли владелец NFT исключительные права на произведения искусства?

Популярная механика
10 продуктов, которые могут храниться десятилетиями 10 продуктов, которые могут храниться десятилетиями

Подборка продуктов, которые можно купить и хранить годами

Cosmopolitan
От полезных советов до создания ИИ-жен: как люди используют чат-ботов От полезных советов до создания ИИ-жен: как люди используют чат-ботов

Как люди пользуются персонифицированными чат-ботами?

Inc.
Я и моя тень: Ревва, Малышева и еще 5 звезд, у которых есть близнецы и двойняшки Я и моя тень: Ревва, Малышева и еще 5 звезд, у которых есть близнецы и двойняшки

Близнецы и двойняшки знаменитостей, о которых вы, скорее всего, не слышали

VOICE
Астероидные кольца, сила гравитации и сжатие звездного облака: откуда взялась Луна Астероидные кольца, сила гравитации и сжатие звездного облака: откуда взялась Луна

Почему ни одна из гипотез не может объяснить, как на самом деле «родилась» Луна

Maxim
Как справляться с агрессией в интернете: 3 способа Как справляться с агрессией в интернете: 3 способа

Как не поддаться порыву и не отвечать на злость злостью?

Psychologies
Зачем нам красота и почему сегодня она нужна каждому Зачем нам красота и почему сегодня она нужна каждому

Почему красота — то, за что можно держаться в полные сомнений моменты

РБК
Простая привычка, которая поможет повысить IQ на 23% Простая привычка, которая поможет повысить IQ на 23%

Коэффициент интеллекта можно повысить — например, при помощи медитации

Psychologies
Лимонов и революция Лимонов и революция

Когда в Советском Союзе начинается перестройка, Лимонов преображается

Esquire
Как подключить технику на 220 В к бортовой сети автомобиля Как подключить технику на 220 В к бортовой сети автомобиля

Как подключить электрические приборы к автомобилю?

CHIP
Азбука привычного счастья Азбука привычного счастья

Итальянская культура еды может доставить неподготовленному человеку неудобства

Seasons of life
Мегалитический памятник Панория возник более 5500 лет назад Мегалитический памятник Панория возник более 5500 лет назад

Археологи уточнили возраст обнаруженных в Испании погребений

N+1
Про интимное: как сохранить достоинство больного Про интимное: как сохранить достоинство больного

Президент фонда «Вера», о самых простых вещах, которые труднее всего заметить

Psychologies
Химики получили ковалентные органические каркасы с рекордным размером пор Химики получили ковалентные органические каркасы с рекордным размером пор

Химики получили каркасы с большими порами, которые могут адсорбировать пепсин

N+1
Как уговорить близкого человека обратиться к врачу Как уговорить близкого человека обратиться к врачу

Случается, что мы находим тысячу причин, чтобы не идти к врачу. Почему?

Psychologies
10 умнейших пород собак: как выбрать лучшего питомца 10 умнейших пород собак: как выбрать лучшего питомца

Если обучаемые собаки – норма, то обучаемые хозяева – большая редкость

ТехИнсайдер
Вячеслав Заренков Вячеслав Заренков

В домах, построенных бизнесменом в Петербурге, живет почти 300 тысяч человек

Собака.ru
Subaru Forester. Трудности сурдоперевода Subaru Forester. Трудности сурдоперевода

Отчёт о поездке на новом Subaru Forester

4x4 Club
Как бороться с повышенной тревожностью: 7 шагов к спокойствию Как бороться с повышенной тревожностью: 7 шагов к спокойствию

Рассказываем, как поставить беспокойство на место

Playboy
Палеонтологи впервые обнаружили в Монголии останки верблюда Кноблоха Палеонтологи впервые обнаружили в Монголии останки верблюда Кноблоха

Верблюд Кноблоха жил на территории Монголии в эпоху позднего плейстоцена

N+1
Минус 7 кг за 7 дней на «Любимой диете»: возвращаемся в форму за короткий срок Минус 7 кг за 7 дней на «Любимой диете»: возвращаемся в форму за короткий срок

«Любимая диета», которая успела стать любимой для огромного количества женщин

VOICE
Вино, раскройся! Вино, раскройся!

Вино – как выбрать, с чем сочетать и что предписывает этикет

Лиза
Я ору: как крик помогает избавиться от боли Я ору: как крик помогает избавиться от боли

Существует ли научное подтверждение тому, что крик помогает справиться с болью?

Psychologies
С чего начать половое воспитание: рассказывает врач-психотерапевт С чего начать половое воспитание: рассказывает врач-психотерапевт

В каком возрасте и что говорить ребенку о половом воспитании?

Psychologies
Почему некоторые люди умеют петь, а другие делают это плохо Почему некоторые люди умеют петь, а другие делают это плохо

Музыкальные способности — это талант, с которым рождаются, или нет?

Популярная механика
Родион Галюченко: «Нужно всегда честно и прямо говорить!» Родион Галюченко: «Нужно всегда честно и прямо говорить!»

Родион Галюченко поделился с читательницами о проекте, роли и жизни

Cosmopolitan
Как часто нужно менять постельное белье и стирать одежду: 9 вопросов о гигиене Как часто нужно менять постельное белье и стирать одежду: 9 вопросов о гигиене

Список правил для современной хозяйки, которая действует по науке

Популярная механика
Жизнь и смерть Жизнь и смерть

После всех своих странствий Эдуард Лимонов возвращается в Москву

Esquire
10 неожиданных фактов о герое мемов и нашего детства Брэндане Фрейзере 10 неожиданных фактов о герое мемов и нашего детства Брэндане Фрейзере

Стычки с суперменом и вручение Оскара: что мы не знали о Брэндане Фрейзере

Популярная механика
Скрытые возможности «Ватсап», которые полезно знать каждому Скрытые возможности «Ватсап», которые полезно знать каждому

От Темной темы до режима «инкогнито» и сообщений самому себе

Maxim
Открыть в приложении