Алгоритм, который синтезирует восстановленный звук

N+1Наука

Нейросеть озвучила беззвучную игру на фортепиано

Григорий Копиев

Американские разработчики создали алгоритм, который наблюдает за беззвучным видео игры на фортепиано и синтезирует восстановленный звук. Статья была представлена на конференции NeurIPS 2020.

Звук, производимый музыкальным инструментом во время исполнения мелодии, складывается из множества параметров: особенностей самого инструмента, исполняемой композиции, особенностей движений музыканта во время игры. Зная, как звучит конкретный музыкальный инструмент, человеку или алгоритму должно быть достаточно видеозаписи игры на нем, чтобы достаточно точно восстановить получающийся звук, но фактически разработчики компьютерных алгоритмов для этой задачи сталкиваются с трудностями.

Разработчики из Вашингтонского университета под руководством Эли Шлицермана (Eli Shlizerman) создали алгоритм для озвучивания игры на фортепиано, который учитывает не только сам факт нажатия клавиш, но и продолжительность. Алгоритм состоит из трех основных частей и они работают следующим образом. Сначала алгоритм Video2Roll получает на вход по пять последовательных кадров из видеозаписи, на которой сверху снята клавиатура и кисти рук музыканта. Этот алгоритм основан на сверточной нейросети ResNet18 и дополнен модулем внимания, позволяющими ему с большей вероятностью замечать нажатые клавиши, которые занимают лишь очень небольшую долю от всего кадра, и обучаемым корреляционным модулем, который позволяет

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Базальтовые бусины в невесомости подтвердили вклад трибоэлектричества в формирование планет Базальтовые бусины в невесомости подтвердили вклад трибоэлектричества в формирование планет

Зачем ученые отправили в суборбитальный полет кучку базальтовых бусин

N+1
Британский фунт Британский фунт

Британский фунт — древнейшее в мире действующее платежное средство

Вокруг света
Тайна самых древних галактик остается неразрешимой Тайна самых древних галактик остается неразрешимой

Джеймс Уэбб он столкнулся с тайной, которую не удается разрешить до сих пор

ТехИнсайдер
«Да» значит «да», но можно передумать»: юрист Анна Ривина — о концепции согласия в отношениях «Да» значит «да», но можно передумать»: юрист Анна Ривина — о концепции согласия в отношениях

Как зафиксировать сексуальное согласие?

Forbes
Пять языков любви Пять языков любви

Секрет прочных отношений

kiozk originals
Малыш «Голиаф» — очень смешное и почти нестрашное супероружие вермахта Малыш «Голиаф» — очень смешное и почти нестрашное супероружие вермахта

Танкетка «Голиаф» — крохотное изобретение вермахта

Maxim
Святой Валентин, что ты делаешь, прекрати! Святой Валентин, что ты делаешь, прекрати!

Самые запутанные любовные истории звезд, от которых голова идет кругом

Лиза
Тут Русью пахнет Тут Русью пахнет

Отечественные дизайнеры все чаще находят источник вдохновения на родной почве

Vogue
Мария Власова и ее рукописный альбом Мария Власова и ее рукописный альбом

Домашний альбом Марии Власовой, сестры Зинаиды Волконской

Наука
13,5 вещей с аппетитными названиями, которые несъедобны и даже смертельны 13,5 вещей с аппетитными названиями, которые несъедобны и даже смертельны

Выплюнь это немедленно!

Maxim
Интервью: «Дружба помогает узнать, кто я» Интервью: «Дружба помогает узнать, кто я»

Отношения, без которых мы не стали бы собой

Psychologies
Покажите ее Илону Маску: тест-драйв Audi e-tron Покажите ее Илону Маску: тест-драйв Audi e-tron

Чем удивил новый кроссовер Audi e-tron?

РБК
Mazda CX-30: модель минус-сайз Mazda CX-30: модель минус-сайз

Самая обаятельная и привлекательная Mazda CX-30!

Maxim
Парное интервью: Тина Кунаки и Венсан Кассель — о сексуальности, моде и совместной работе Парное интервью: Тина Кунаки и Венсан Кассель — о сексуальности, моде и совместной работе

Esquire задал Тине и Венсану одинаковые вопросы о моде и роли одежды в жизни

Esquire
Свиней научили управлять курсором при помощи джойстика Свиней научили управлять курсором при помощи джойстика

Ученые научили свиней управлять курсором

N+1
Брокер или мошенник: как работают схемы с фейковыми инвестициями в акции и криптовалюты Брокер или мошенник: как работают схемы с фейковыми инвестициями в акции и криптовалюты

Как мошенники отбирают деньги, пользуясь доверчивостью россиян

Forbes
Не только от морщин: что «умеют» уколы ботокса в хороших руках доктора Не только от морщин: что «умеют» уколы ботокса в хороших руках доктора

При каких болезнях без ботокса не обойтись и как именно он помогает

Cosmopolitan
Не отдам! Не отдам!

Марта Кетро – о том, чем оборачивается собственничество по отношению к мужчине

Cosmopolitan
«Налоговый рай в сердце ЕС»: журналисты рассказали об активах связанных с госкомпаниями россиян в Европе «Налоговый рай в сердце ЕС»: журналисты рассказали об активах связанных с госкомпаниями россиян в Европе

Тысячи россиян владеют компаниями в Люксембурге с активами на триллионы евро

Forbes
Одна вокруг света: Робин Гуд Дикого Запада и кусочек родины в Вайоминге Одна вокруг света: Робин Гуд Дикого Запада и кусочек родины в Вайоминге

107-я серия о кругосветном путешествии Ирины Сидоренко и ее собаки Греты

Forbes
Слава угасла? Где сейчас YouTube-блогеры, которые были популярны 10 лет назад Слава угасла? Где сейчас YouTube-блогеры, которые были популярны 10 лет назад

Рассказываем, чем сейчас занимаются Ивангай, Рома Желудь и другие ютуберы

Cosmopolitan
Какие типы полного привода существуют и какой тебе подойдет больше всего Какие типы полного привода существуют и какой тебе подойдет больше всего

4x4 как дважды два

Maxim
7 тревожных сигналов для пары, которые мы принимаем за норму 7 тревожных сигналов для пары, которые мы принимаем за норму

Паттерны, которые не приносят удовольствия и разрушают отношения

Psychologies
9 признаков, что ты альфа-самец 9 признаков, что ты альфа-самец

Иногда в человеке с первого взгляда чувствуется сильный лидер

Maxim
Пауки с острова Кокос научились плести разные сети для охоты у воды и высоко над землей Пауки с острова Кокос научились плести разные сети для охоты у воды и высоко над землей

Пауки освоили множество способов охоты с использованием паутины

N+1
Король возвращается Король возвращается

Актер Эдди Мерфи возвращается в большое кино

Glamour
«Важно оставаться самим собой даже под слоем грима» «Важно оставаться самим собой даже под слоем грима»

Митя Фомин: о помощи от Робби Уильямса и квартире у моря

OK!
Правила жизни Айн Рэнд Правила жизни Айн Рэнд

Писатель, скончалась в 1982 году в Нью-Йорке

Esquire
Мэтью Макконахи: «В восемнадцать меня избили до беспамятства, швырнули в автофургон и надругались» Мэтью Макконахи: «В восемнадцать меня избили до беспамятства, швырнули в автофургон и надругались»

Отрывок из мемуаров Мэтью Макконахи «Зеленый свет»

GQ
«Между нами все было хорошо, почему же он ушел?» «Между нами все было хорошо, почему же он ушел?»

За таким решением, как уход из семьи, всегда скрывается замалчиваемый кризис

Psychologies
Открыть в приложении