Алгоритм, который синтезирует восстановленный звук

N+1Наука

Нейросеть озвучила беззвучную игру на фортепиано

Григорий Копиев

Американские разработчики создали алгоритм, который наблюдает за беззвучным видео игры на фортепиано и синтезирует восстановленный звук. Статья была представлена на конференции NeurIPS 2020.

Звук, производимый музыкальным инструментом во время исполнения мелодии, складывается из множества параметров: особенностей самого инструмента, исполняемой композиции, особенностей движений музыканта во время игры. Зная, как звучит конкретный музыкальный инструмент, человеку или алгоритму должно быть достаточно видеозаписи игры на нем, чтобы достаточно точно восстановить получающийся звук, но фактически разработчики компьютерных алгоритмов для этой задачи сталкиваются с трудностями.

Разработчики из Вашингтонского университета под руководством Эли Шлицермана (Eli Shlizerman) создали алгоритм для озвучивания игры на фортепиано, который учитывает не только сам факт нажатия клавиш, но и продолжительность. Алгоритм состоит из трех основных частей и они работают следующим образом. Сначала алгоритм Video2Roll получает на вход по пять последовательных кадров из видеозаписи, на которой сверху снята клавиатура и кисти рук музыканта. Этот алгоритм основан на сверточной нейросети ResNet18 и дополнен модулем внимания, позволяющими ему с большей вероятностью замечать нажатые клавиши, которые занимают лишь очень небольшую долю от всего кадра, и обучаемым корреляционным модулем, который позволяет

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Дети и шимпанзе отказались от вознаграждения ради видео с социальными взаимодействиями Дети и шимпанзе отказались от вознаграждения ради видео с социальными взаимодействиями

Дети и взрослые шимпанзе проявляют особый интерес к социальным взаимодействиям

N+1
Зеленое будущее: как цианобактерии помогут человечеству выживать на Марсе Зеленое будущее: как цианобактерии помогут человечеству выживать на Марсе

Цианобактерии могут успешно расти в условиях марсианской атмосферы

Популярная механика
Чувствительность к горькой пище связана с заболеваниями почек и биполярным расстройством Чувствительность к горькой пище связана с заболеваниями почек и биполярным расстройством

Как отвращение к горькому вкусу брокколи связано с вашим здоровьем?

ТехИнсайдер
Редкие металлы Редкие металлы

В дизайне этой квартиры присутствуют материалы, нетипичные для жилых интерьеров

AD
Как кофеин влияет на мозг и тело: неожиданные факты Как кофеин влияет на мозг и тело: неожиданные факты

Исследования выявили ряд интересных фактов, связанных с кофеином

Psychologies
«Хочу перестать каждый день плакать»: Ольга Бузова о жизни после разрыва с Давой «Хочу перестать каждый день плакать»: Ольга Бузова о жизни после разрыва с Давой

Ольга Бузова призналась, что не считает себя сильной женщиной

Cosmopolitan
Тайна платка с узором из земляники Тайна платка с узором из земляники

Историю любви и предательства Отелло и Дездемоны не так проста, как кажется

Вокруг света
Новая этика или новый тоталитаризм? Куда делась свобода слова в интернете Новая этика или новый тоталитаризм? Куда делась свобода слова в интернете

Почему рано или поздно нам всем придется привыкнуть к новой цифровой реальности

Esquire
Правила жизни Бенисио Дель Торо Правила жизни Бенисио Дель Торо

Правила жизни актера Бенисио Дель Торо

Esquire
Не тестируется на животных: кто и на ком проверяет косметику и бытовую химию и при чем здесь этика Не тестируется на животных: кто и на ком проверяет косметику и бытовую химию и при чем здесь этика

Что такое этичное тестирование косметики и бытовой химии и как оно проводится

Популярная механика
Фаина Павловна и ее «честная» сумочка Фаина Павловна и ее «честная» сумочка

История о детском саду, соседке и маленькой сумочке

Psychologies
Временной кристалл впервые создали при комнатной температуре и в микромасштабе Временной кристалл впервые создали при комнатной температуре и в микромасштабе

Физики создали магнонный кристалл с периодической структурой во времени

N+1
Измельченные шины сделали переработанный бетон прочнее обычного Измельченные шины сделали переработанный бетон прочнее обычного

Химики научились делать прочный бетон из переработанных материалов

N+1
«Без везения не обошлось. Но должно быть что-то больше, чем везение»: Юрий Мильнер о принципах, инвестициях и космосе «Без везения не обошлось. Но должно быть что-то больше, чем везение»: Юрий Мильнер о принципах, инвестициях и космосе

Главное из большого интервью Юрия Мильнера проекту «Русские норм»

VC.RU
Секс, беременность, падения: 8 самых популярных снов и их значение Секс, беременность, падения: 8 самых популярных снов и их значение

Что означают твои сны?

Cosmopolitan
Физики предрекли высоким узким айсбергам быстрое таяние Физики предрекли высоким узким айсбергам быстрое таяние

Физики учли влияние формы айсбергов на скорость таяния

N+1
Билет в один конец Билет в один конец

Илон Маск мечтает умереть на Марсе, и он по-своему прав

Популярная механика
Чему нас учит измена и как она может изменить нашу жизнь к лучшему Чему нас учит измена и как она может изменить нашу жизнь к лучшему

Что произошло между двумя людьми, раз союз затрещал по швам

Psychologies
Медиация: решаем конфликты с помощью профессионального посредника Медиация: решаем конфликты с помощью профессионального посредника

Медиатор — помощник в решении конфликтных ситуаций и экологичных разводах

Psychologies
Три мысли о зрелом возрасте Три мысли о зрелом возрасте

Как принять свою новую идентичность и полюбить новую себя

Psychologies
Как похудеть за неделю Как похудеть за неделю

Неделя – вполне реальный срок для того, чтобы похудеть

Cosmopolitan
Физики подтвердили полиморфизм льда и открыли лед-XIX Физики подтвердили полиморфизм льда и открыли лед-XIX

Физики нашли новую кристаллическую фазу воды при высоком давлении

N+1
Когда близнецы не похожи друг на друга Когда близнецы не похожи друг на друга

Почему одни близнецы похожи друг на друга, а другие нет?

Наука и жизнь
Кашляю, задыхаюсь, умираю: как живет женщина с аллергией на мужа Кашляю, задыхаюсь, умираю: как живет женщина с аллергией на мужа

Они не подозревали, что из-за странной болезни их семейная жизнь разладится

Cosmopolitan
Когда цветет миндаль Когда цветет миндаль

Почему бы в последние дни зимы не помечтать о далекой Майорке, где всё в цвету?

Лиза
Брокер или мошенник: как работают схемы с фейковыми инвестициями в акции и криптовалюты Брокер или мошенник: как работают схемы с фейковыми инвестициями в акции и криптовалюты

Как мошенники отбирают деньги, пользуясь доверчивостью россиян

Forbes
Самые странные идеи свиданий, которые вас сблизят: она поймет, что ты не такой, как все Самые странные идеи свиданий, которые вас сблизят: она поймет, что ты не такой, как все

Быть чудиками на свиданиях не зазорно

Playboy
Ловушка самоуспокоения: почему мы в нее попадаем и как оттуда выбраться Ловушка самоуспокоения: почему мы в нее попадаем и как оттуда выбраться

Тревожные мысли порой одолевают каждого

Psychologies
Сильный бренд, но слабый бизнес: Gibson за 127 лет производства гитар не раз сталкивалась с проблемами, но выжила Сильный бренд, но слабый бизнес: Gibson за 127 лет производства гитар не раз сталкивалась с проблемами, но выжила

История самого известного гитарного бренда Gibson

VC.RU
Меню для кормящей мамы в первые месяцы: рацион для двоих Меню для кормящей мамы в первые месяцы: рацион для двоих

Как найти правильное питание для женщины в период лактации

Cosmopolitan
Открыть в приложении