Как искусственный интеллект работает со звуком

Популярная механикаHi-Tech

С машинами на одном языке: как компьютеры «слышат» музыку и для чего используют этот навык

Эксперименты с генерацией музыки с помощью искусственного интеллекта начались еще в 50-х годах прошлого века. С тех пор нейросети научились «понимать» и распознавать песни, определять наши вкусы в стриминговых сервисах и даже писать музыкальные произведения на основании данных о движении небесных тел. Как искусственный интеллект работает со звуком и какие прорывные продукты, созданные «кибер-композиторами», мы будем использовать в будущем, рассказывают специалисты «Яндекса».

Как компьютер «видит» звук?

Чтобы машина могла распознать или даже написать мелодию, ей необходимо познакомиться с сотнями музыкальных примеров. Но как поместить звук внутрь компьютерной нейросети, каким образом она может их воспринять? Вспомним учебник физики за девятый класс: источником звука всегда является колеблющееся тело. Это может быть мембрана барабана, натянутая струна или диффузор динамика в наших колонках. Колебания этих тел передаются по воздуху в виде множества волн, попадают на барабанную перепонку человека, раздражают окончания слуховых нервов, и мы слышим звук.

У машины этот процесс протекает иначе. Чтобы она «услышала» музыку, ее нужно преобразовать в набор цифр, понятный компьютеру. Преобразование в цифровой код происходит благодаря процессам дискретизации и квантования. Информация приходит в компьютер в виде непрерывной звуковой волны, «переведенной» в электрический ток. Чтобы описать ее на языке цифр, специальный преобразователь «нарезает» эту волну на очень маленькие отрезки длиной в несколько миллисекунд. Это дискретизация — процесс, когда непрерывная волна становится поделенной на части, то есть дискретной. Однако даже в самых крохотных отрезках звук представляет собой продолжительный кусочек волны. Для удобства преобразователь «округляет» его значения, измеренные во время дискретизации, и представляет в виде точки. Такой процесс называется квантованием.

В итоге вся волна превращается в набор точек, которым остается только присвоить цифровые коды. Другими словами, мы получаем большой набор цифр, описывающий каждый фрагмент песни. Эти числа можно внести в одну большую таблицу, а можно отобразить наглядно в виде спектрограммы. Так называют графическое изображение звуков в системе координат, где по вертикальной оси располагаются звуковые частоты (от высоких звуков до низких), а по горизонтальной — время. Чем теплее и ярче цвет на спектрограмме, тем интенсивнее звук в этом месте. Описать спектрограмму словами непросто, так что лучше сразу посмотрите, как она выглядит.

06b98161ad1203ae0bfc1ef4cbccf906.png
wikipedia.org

Еще более наглядное объяснение этого процесса дается в рамках «Урока Цифры» от Яндекса — «Цифровое искусство: музыка и IT». В этом проекте эксперты компании рассказывают о музыкальной оцифровке, теории звука, системах рекомендаций в медиасервисах, а после теоретической части участники могут попробовать самостоятельно продолжить композицию. Уроки и задания предназначены для школьников, но взрослым они тоже будут интересны.

Как ИИ распознает музыку и рекомендует песни?

Способность искусственного интеллекта представлять музыку цифровым кодом нашла практическое применение в нашей жизни. Именно благодаря спектрограммам нейросети анализируют и распознают музыку, чтобы, например, с помощью Shazam находить похожие треки. Когда приложение «слышит» композицию, оно сравнивает ее спектрограмму со множеством других из базы данных и отыскивает совпадения. При этом искусственный интеллект распознает мелодию даже сквозь помехи вроде голосов за соседним столиком или шума машин.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

USS Vermont: Ноев ковчег на военной службе USS Vermont: Ноев ковчег на военной службе

Если вы не верите в Ноя и его ковчег, то прямо сейчас поверьте

Популярная механика
Рыцарь гена: как ученый Николай Вавилов хотел накормить весь мир и умер от голода Рыцарь гена: как ученый Николай Вавилов хотел накормить весь мир и умер от голода

Отрывок из книги Питера Прингла, посвященной генетику Николаю Вавилову

Forbes
Разработана умная роботизированная инвалидная коляска Разработана умная роботизированная инвалидная коляска

Как умное кресло-коляска позволяет находить оптимальный путь к пункту назначения

ТехИнсайдер
Что гравитационные волны рассказали нам о Вселенной Что гравитационные волны рассказали нам о Вселенной

Гравитационных волны помогли решить загадки эволюции галактик

Популярная механика
Как научиться довольствоваться тем, что есть, и перестать сравнивать свою жизнь с чужими Как научиться довольствоваться тем, что есть, и перестать сравнивать свою жизнь с чужими

Как перестать вечно гнаться за идеалом?

ТехИнсайдер
Подросток Лимонов. Продолжение Подросток Лимонов. Продолжение

В СССР Лимонов не был диссидентом, но был чужим для советской системы

Esquire
Пища для мозга: 7 продуктов, которые делают нас Пища для мозга: 7 продуктов, которые делают нас

Из-за некоторой пищи наш мозг устаёт и работает намного хуже, чем мог бы

Популярная механика
Ключи от города Ключи от города

Ключ от города лежит у каждого из нас в кармане. Часто ли мы открываем им дверь?

Seasons of life
Кокэльцам из скифской «Долины царей» приглянулось просо Кокэльцам из скифской «Долины царей» приглянулось просо

Биоархеологи выяснили рацион древних жителей Тывы

N+1
Лётчик и юридический махинатор: 10 фактов о Гарри Гудини Лётчик и юридический махинатор: 10 фактов о Гарри Гудини

Хоть Гарри Гудини и умер почти столетие назад, его загадочность не стала меньше

Популярная механика
Харуки Мураками. Отрывок из сборника рассказов «От первого лица» Харуки Мураками. Отрывок из сборника рассказов «От первого лица»

Отрывок из меланхоличного автофикшена Харуки Мураками «От первого лица»

СНОБ
10 рецептов от весенней хандры 10 рецептов от весенней хандры

Простые приемы против хандры, которые помогут не опускать руки

Psychologies
Как будет работать интернет на Луне: готовимся к масштабной эмиграции в космос Как будет работать интернет на Луне: готовимся к масштабной эмиграции в космос

Andromeda обеспечит связью абонентов, которые будут жить и работать на Луне

Популярная механика
10 лучших дорам 10 лучших дорам

Современные сериалы – это праздник для любительниц растянуть удовольствие

VOICE
Туберкулез в жизни и искусстве: обсуждение режиссера, художницы и врача Туберкулез в жизни и искусстве: обсуждение режиссера, художницы и врача

Как переплетены туберкулез в жизни и в искусстве

РБК
Запахло жареным: может ли парфюм испортиться и как это определить Запахло жареным: может ли парфюм испортиться и как это определить

Могут ли духи испортиться, и если да, то какой у них срок годности?

Cosmopolitan
Сочиняй мечты Сочиняй мечты

Соня Карпунина — о памятном подарке из космоса и необычных именах детей

OK!
8 дешевых способов спасти машину от угона. Советы экспертов 8 дешевых способов спасти машину от угона. Советы экспертов

Как обезопасить авто от угона с помощью обычного светодиода?

РБК
7 странных примет, в которые верят даже опытные дачники: реальность или миф 7 странных примет, в которые верят даже опытные дачники: реальность или миф

У вас не всегда бывает хороший урожай? Пора прислушаться к народным приметам

Популярная механика
14 вредных привычек, которые стоят вам денег 14 вредных привычек, которые стоят вам денег

Какие привычки пересмотреть, чтобы

Psychologies
Как режиссер Джейн Кэмпион меняет образ женщины и получает главные мировые кинопремии Как режиссер Джейн Кэмпион меняет образ женщины и получает главные мировые кинопремии

Путь Джейн Кэмпион, которая сняла свой первый полнометражный фильм за 12 лет

Forbes
«Я все равно буду счастлива!»: история Зинаиды Михайловны Туснолобовой-Марченко, которая без рук и ног прошла вoйну «Я все равно буду счастлива!»: история Зинаиды Михайловны Туснолобовой-Марченко, которая без рук и ног прошла вoйну

Ее жизнь — это настоящая летопись борьбы с тем, что невозможно победить

Популярная механика
От абсурда к драме: как менялся образ Бэтмена с 1930-х до наших дней От абсурда к драме: как менялся образ Бэтмена с 1930-х до наших дней

Как Бэтмен менялся сквозь эпохи?

РБК
Почему классические радар-детекторы такие большие Почему классические радар-детекторы такие большие

Какие бывают антенны в радар-детекторах

CHIP
Александр Васильев: «К Щедрину я приехал с большим пустым чемоданом» Александр Васильев: «К Щедрину я приехал с большим пустым чемоданом»

«Модный приговор» — великая школа жизни, я смог узнать многое о психологии людей

Караван историй
Почему в России до сих пор нет своих процессоров? Почему в России до сих пор нет своих процессоров?

Что ждет отечественные процессоры Байкал и Эльбрус

CHIP
6 книг, которые поддержат в непростое время 6 книг, которые поддержат в непростое время

Если вам не хватает опоры в реальном мире, обращайтесь к романам

Esquire
ТОП-5 самых стильных сериалов ТОП-5 самых стильных сериалов

Эти фильмы смотрят, чтобы вдохновиться модными образами героинь

Лиза
Как избавиться от храпа во сне: советы мужчинам дает врач-сомнолог Как избавиться от храпа во сне: советы мужчинам дает врач-сомнолог

Как храп влияет на здоровье и как от него избавиться?

Playboy
Фасон мини Фасон мини

Как изготавливают уменьшенные копии роскошных автомобилей

Robb Report
Открыть в приложении