Как искусственный интеллект работает со звуком

Популярная механикаHi-Tech

С машинами на одном языке: как компьютеры «слышат» музыку и для чего используют этот навык

Эксперименты с генерацией музыки с помощью искусственного интеллекта начались еще в 50-х годах прошлого века. С тех пор нейросети научились «понимать» и распознавать песни, определять наши вкусы в стриминговых сервисах и даже писать музыкальные произведения на основании данных о движении небесных тел. Как искусственный интеллект работает со звуком и какие прорывные продукты, созданные «кибер-композиторами», мы будем использовать в будущем, рассказывают специалисты «Яндекса».

Как компьютер «видит» звук?

Чтобы машина могла распознать или даже написать мелодию, ей необходимо познакомиться с сотнями музыкальных примеров. Но как поместить звук внутрь компьютерной нейросети, каким образом она может их воспринять? Вспомним учебник физики за девятый класс: источником звука всегда является колеблющееся тело. Это может быть мембрана барабана, натянутая струна или диффузор динамика в наших колонках. Колебания этих тел передаются по воздуху в виде множества волн, попадают на барабанную перепонку человека, раздражают окончания слуховых нервов, и мы слышим звук.

У машины этот процесс протекает иначе. Чтобы она «услышала» музыку, ее нужно преобразовать в набор цифр, понятный компьютеру. Преобразование в цифровой код происходит благодаря процессам дискретизации и квантования. Информация приходит в компьютер в виде непрерывной звуковой волны, «переведенной» в электрический ток. Чтобы описать ее на языке цифр, специальный преобразователь «нарезает» эту волну на очень маленькие отрезки длиной в несколько миллисекунд. Это дискретизация — процесс, когда непрерывная волна становится поделенной на части, то есть дискретной. Однако даже в самых крохотных отрезках звук представляет собой продолжительный кусочек волны. Для удобства преобразователь «округляет» его значения, измеренные во время дискретизации, и представляет в виде точки. Такой процесс называется квантованием.

В итоге вся волна превращается в набор точек, которым остается только присвоить цифровые коды. Другими словами, мы получаем большой набор цифр, описывающий каждый фрагмент песни. Эти числа можно внести в одну большую таблицу, а можно отобразить наглядно в виде спектрограммы. Так называют графическое изображение звуков в системе координат, где по вертикальной оси располагаются звуковые частоты (от высоких звуков до низких), а по горизонтальной — время. Чем теплее и ярче цвет на спектрограмме, тем интенсивнее звук в этом месте. Описать спектрограмму словами непросто, так что лучше сразу посмотрите, как она выглядит.

06b98161ad1203ae0bfc1ef4cbccf906.png
wikipedia.org

Еще более наглядное объяснение этого процесса дается в рамках «Урока Цифры» от Яндекса — «Цифровое искусство: музыка и IT». В этом проекте эксперты компании рассказывают о музыкальной оцифровке, теории звука, системах рекомендаций в медиасервисах, а после теоретической части участники могут попробовать самостоятельно продолжить композицию. Уроки и задания предназначены для школьников, но взрослым они тоже будут интересны.

Как ИИ распознает музыку и рекомендует песни?

Способность искусственного интеллекта представлять музыку цифровым кодом нашла практическое применение в нашей жизни. Именно благодаря спектрограммам нейросети анализируют и распознают музыку, чтобы, например, с помощью Shazam находить похожие треки. Когда приложение «слышит» композицию, оно сравнивает ее спектрограмму со множеством других из базы данных и отыскивает совпадения. При этом искусственный интеллект распознает мелодию даже сквозь помехи вроде голосов за соседним столиком или шума машин.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как выращивать помидоры на дачном участке: секрет высоких грядок Как выращивать помидоры на дачном участке: секрет высоких грядок

Выращивание сезонных овощей на дачном участке требует много времени и сил

Популярная механика
Анте Томич: «Чудо в ущелье Поскоков». Хорватский роман о перипетиях сумасбродного семейства Анте Томич: «Чудо в ущелье Поскоков». Хорватский роман о перипетиях сумасбродного семейства

Отрывок из романа о том, как Крешимир покинул родные края в поисках невесты

СНОБ
Как приручить маркетинг и использовать его на все 100: объясняет эксперт Дмитрий Бескромный Как приручить маркетинг и использовать его на все 100: объясняет эксперт Дмитрий Бескромный

Как развить свой продукт с помощью digital-маркетинга

VOICE
Джейкоб Элорди: «Я благодарен судьбе, что оказался в мире кино, – мне никогда не бывает скучно» Джейкоб Элорди: «Я благодарен судьбе, что оказался в мире кино, – мне никогда не бывает скучно»

Джейкоб Элорди — почему «Глубокие воды» стоит смотреть любителям лент 90х

Grazia
11 способов становиться немного умнее каждый день 11 способов становиться немного умнее каждый день

Интеллект, как и тело, требует правильного питания и регулярных тренировок

Psychologies
Плюс один Плюс один

«Покупка» младенца или единственный способ иметь биологического ребенка?

Grazia
Кофемолки и ткацкие станки: чем занимались автопроизводители до машин Кофемолки и ткацкие станки: чем занимались автопроизводители до машин

Как производители перечниц и швейных машин перешли к созданию автомобилей?

РБК
«В нужный момент в нужном месте» «В нужный момент в нужном месте»

Человек, который предотвратил ядерную катастрофу

Дилетант
Хуже ожирения: 5 признаков, что ты скинни фэт (и как это исправить) Хуже ожирения: 5 признаков, что ты скинни фэт (и как это исправить)

Могут ли внешне худые люди страдать от ожирения?

Cosmopolitan
Эти 5 признаков помогут тебе распознать шизофреника в толпе Эти 5 признаков помогут тебе распознать шизофреника в толпе

Признаки, которые первым делом указывают на серьезные изменения в личности

Cosmopolitan
«С одной иглы на другую»: как власти собираются поддерживать IT-отрасль под санкциями «С одной иглы на другую»: как власти собираются поддерживать IT-отрасль под санкциями

Одной из главных проблем бизнес назвал утечку кадров

Forbes
Пиво для перца, молоко для огурцов и еще 10 лайфхаков для дачников Пиво для перца, молоко для огурцов и еще 10 лайфхаков для дачников

Советы для всех, кто хочет получить хороший урожай на собственном огороде

Популярная механика
Как суперкомпьютеры помогают познавать окружающий мир: незаменимые машины современности Как суперкомпьютеры помогают познавать окружающий мир: незаменимые машины современности

Как эра цифровой трансформации помогает в изучении природных процессов

Популярная механика
Я ору: как крик помогает избавиться от боли Я ору: как крик помогает избавиться от боли

Существует ли научное подтверждение тому, что крик помогает справиться с болью?

Psychologies
Марширующий лес, геобрекзит и другие факторы, повлиявшие на развитие нашей цивилизации Марширующий лес, геобрекзит и другие факторы, повлиявшие на развитие нашей цивилизации

Как геология Земли связана с эволюцией человека?

Популярная механика
Что умели водители в СССР: эти навыки всегда пригодятся Что умели водители в СССР: эти навыки всегда пригодятся

Советские водители знали, как эксплуатировать и обслуживать автомобиль

РБК
Не просто специя: польза пажитника для красоты и здоровья Не просто специя: польза пажитника для красоты и здоровья

Чем полезен пажитник и как его принимать?

Cosmopolitan
«Мечты о создании справедливого мира оказались утопией»: к 100-летию Ирины Антоновой «Мечты о создании справедливого мира оказались утопией»: к 100-летию Ирины Антоновой

Вспоминаем главные проекты легендарной Ирины Антоновой

Forbes
Возможна ли дружба между мужчиной и женщиной? Возможна ли дружба между мужчиной и женщиной?

Какое место занимает сексуальность в отношениях друзей разного пола?

Psychologies
Как «работает» экономика? 8 понятных книг, которые помогут разобраться в происходящем Как «работает» экономика? 8 понятных книг, которые помогут разобраться в происходящем

8 книг, которые помогут узнать и полюбить экономическую науку

Популярная механика
Во имя любви: как офицер вермахта Вилли Шульц решил стать советским разведчиком Во имя любви: как офицер вермахта Вилли Шульц решил стать советским разведчиком

Любовь расцветает даже в суровых условиях

Cosmopolitan
7 причин заправлять постель каждый день по мнению ученых 7 причин заправлять постель каждый день по мнению ученых

Зачем заправлять кровать? Причины, обнаруженные психологами

ТехИнсайдер
Помощь себе и планете: как вырастить детей в духе экологического минимализма Помощь себе и планете: как вырастить детей в духе экологического минимализма

Отрывок из книги Стефани Мари Сефериан «Экологически ориентированный минимализм»

Forbes
36 лучших цитат об изменениях, которые помогут тебе двигаться вперед 36 лучших цитат об изменениях, которые помогут тебе двигаться вперед

Что бы ты ни делала, все твои труды будут вознаграждены, а цели - достигнуты

Cosmopolitan
«Ядерный конец света все не наступал»: почему так сложно предсказать будущее «Ядерный конец света все не наступал»: почему так сложно предсказать будущее

Книга «Прозревая будущее» Мартина ван Кревельда

Forbes
Отбойник из рога позволил археологам воспроизвести листовидные наконечники Отбойник из рога позволил археологам воспроизвести листовидные наконечники

Ученые исследовали артефакты начала верхнего палеолита, найденные на Алтае

N+1
Гидрогель с добавками хлорида лития поглотил воду из воздуха Гидрогель с добавками хлорида лития поглотил воду из воздуха

Американские материаловеды создали материал с самой высокой скоростью сорбции

N+1
Болезнь Брюса Уиллиса: что такое афазия и как с ней живут Болезнь Брюса Уиллиса: что такое афазия и как с ней живут

Что такое афазия, как её лечат и как меняется жизнь при этом диагнозе

РБК
8 вещей родом из СССР, которые актуальны и сегодня 8 вещей родом из СССР, которые актуальны и сегодня

Вещи родом из СССР, часть из которых наверняка пылится где-то у тебя дома

Cosmopolitan
Неоправданный страх Неоправданный страх

Где содержится глютен: список продуктов и кому действительно стоит его запомнить

Лиза
Открыть в приложении