Алгоритм, который синтезирует восстановленный звук

N+1Наука

Нейросеть озвучила беззвучную игру на фортепиано

Григорий Копиев

Американские разработчики создали алгоритм, который наблюдает за беззвучным видео игры на фортепиано и синтезирует восстановленный звук. Статья была представлена на конференции NeurIPS 2020.

Звук, производимый музыкальным инструментом во время исполнения мелодии, складывается из множества параметров: особенностей самого инструмента, исполняемой композиции, особенностей движений музыканта во время игры. Зная, как звучит конкретный музыкальный инструмент, человеку или алгоритму должно быть достаточно видеозаписи игры на нем, чтобы достаточно точно восстановить получающийся звук, но фактически разработчики компьютерных алгоритмов для этой задачи сталкиваются с трудностями.

Разработчики из Вашингтонского университета под руководством Эли Шлицермана (Eli Shlizerman) создали алгоритм для озвучивания игры на фортепиано, который учитывает не только сам факт нажатия клавиш, но и продолжительность. Алгоритм состоит из трех основных частей и они работают следующим образом. Сначала алгоритм Video2Roll получает на вход по пять последовательных кадров из видеозаписи, на которой сверху снята клавиатура и кисти рук музыканта. Этот алгоритм основан на сверточной нейросети ResNet18 и дополнен модулем внимания, позволяющими ему с большей вероятностью замечать нажатые клавиши, которые занимают лишь очень небольшую долю от всего кадра, и обучаемым корреляционным модулем, который позволяет

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Генетики подтвердили личность жестоко убитого в Венгрии Рюриковича Генетики подтвердили личность жестоко убитого в Венгрии Рюриковича

Палеогенетики проанализировали геном жестоко убитого венгерского феодала

N+1
Улучшить память и внимание: упражнения, которые можно делать по дороге на работу Улучшить память и внимание: упражнения, которые можно делать по дороге на работу

Забываете о простых задачах и ежедневных делах? Снижается концентрация?

Psychologies
Анафилаксию при пищевой аллергии у мышей объяснили наследственностью Анафилаксию при пищевой аллергии у мышей объяснили наследственностью

Ученые разобрались в природе анафилактического шока при пищевой аллергии

N+1
Фитнес: начало Фитнес: начало

Добавить немного физической активности после долгой зимы

Худеем правильно
Возможно, у вас уже все есть: разбор гардероба в 4 простых правилах Возможно, у вас уже все есть: разбор гардероба в 4 простых правилах

Почему бы не заняться разбором гардероба прямо сейчас?

Правила жизни
Циничная жизнь Бэзила Захароффа — «оружейного барона» и серого кардинала Циничная жизнь Бэзила Захароффа — «оружейного барона» и серого кардинала

По сравнению с этим человеком Гитлер был нежным собирателем цветочков!

Maxim
Почему в корпорации исчезает атмосфера стартапа: опыт главы Waze, который боролся за свободу внутри Google и сдался Почему в корпорации исчезает атмосфера стартапа: опыт главы Waze, который боролся за свободу внутри Google и сдался

Ноам Бардин — что произошло с его независимым стартапом после продажи ИТ-гиганту

VC.RU
Пневматическая почта: как это работает Пневматическая почта: как это работает

Пневмопочта сможет спасти крупные города от пробок и смога

Популярная механика
Почему ругаться матом, нарушать социальные нормы и тупить полезно: объясняет психолог Почему ругаться матом, нарушать социальные нормы и тупить полезно: объясняет психолог

Иногда рамки нам очень сильно вредят

Playboy
Правильное питание: инструкция для начинающих Правильное питание: инструкция для начинающих

Что и как есть с пользой и без строгих запретов

РБК
10 самых правильных пород кошек 10 самых правильных пород кошек

Удивительные породы кошек

Maxim
Семь грехов памяти: почему забытые слова вертятся на языке Семь грехов памяти: почему забытые слова вертятся на языке

Дэниел Шектер изучает ошибки памяти и разделяет их на несколько категорий

Forbes
Хороший, плохой, злой Хороший, плохой, злой

Как научить детей справляться с эмоциями?

Здоровье
Как менялось отношение к делу Вуди Аллена и Миа Фэрроу Как менялось отношение к делу Вуди Аллена и Миа Фэрроу

История отношения общества и прессы к Вуди Аллену и его семье с Миа Фэрроу

Weekend
Армия розовощеких капиталистов: как стартап Roblox помогает зарабатывать подросткам Армия розовощеких капиталистов: как стартап Roblox помогает зарабатывать подросткам

Дэвид Базуки создал платформу, которая добилась стремительного внутреннего роста

Forbes
Зоологи допустили существование сумчатых волков в наши дни Зоологи допустили существование сумчатых волков в наши дни

Скорее всего, этот вид вымер не в 1936 года, а на рубеже 1990-2000 годов

N+1
«Холостой выстрел» — фиаско автомата, который стрелял из-за угла «Холостой выстрел» — фиаско автомата, который стрелял из-за угла

Как автомат с изогнутым стволом вообще способен выстрелить?

Maxim
Чего не хватает российским учёным, чтобы делать прорывные проекты, и почему они вынуждены уходить в коммерцию Чего не хватает российским учёным, чтобы делать прорывные проекты, и почему они вынуждены уходить в коммерцию

Почему в России трудно продавать наукоёмкий продукт

Inc.
«Я верила вруну»: автор книги «Твоя идеальная семья» разводится со вторым мужем «Я верила вруну»: автор книги «Твоя идеальная семья» разводится со вторым мужем

Писательница и коуч Олеся Малинская по отношениям потерпела крах в личной жизни

Cosmopolitan
Фаина Павловна и ее «честная» сумочка Фаина Павловна и ее «честная» сумочка

История о детском саду, соседке и маленькой сумочке

Psychologies
Миллиардер Марк Кьюбан: Понимание этой простой концепции сделает вас богатыми в современном мире Миллиардер Марк Кьюбан: Понимание этой простой концепции сделает вас богатыми в современном мире

Сегодня ценность любого актива определяется тем, что думают об этом люди

Inc.
Клуб первых жен: к истории фотосессии с Юлией Навальной Клуб первых жен: к истории фотосессии с Юлией Навальной

Жены оппозиционеров — это сила, с которой придется считаться

СНОБ
Так и ослепнуть можно! Ошибки в макияже, которые вредят глазам, — мнение врача Так и ослепнуть можно! Ошибки в макияже, которые вредят глазам, — мнение врача

Макияж — неотъемлемая часть жизни современной женщины

Cosmopolitan
Каскадная катастрофа Каскадная катастрофа

В чем причина экологической катастрофы на Камчатке

Наука
Покемоны, Марио и Pac-Man: 13 самых продаваемых игр в истории Покемоны, Марио и Pac-Man: 13 самых продаваемых игр в истории

Самые продаваемые видеоигры

CHIP
Модные буквы: почему концепция ESG не помогла улучшить корпоративное управление в России Модные буквы: почему концепция ESG не помогла улучшить корпоративное управление в России

В России все чаще говорят о социальной и экологической ответственности компаний

Forbes
Смотрите под ноги Смотрите под ноги

Рассказываем, какими бывают деревянные полы и как за ними правильно ухаживать

AD
Лекарство матушки Анрио Лекарство матушки Анрио

История и производство абсента

Вокруг света
Деньги с неба падают? Звезды, которые пытаются разбогатеть странными способами Деньги с неба падают? Звезды, которые пытаются разбогатеть странными способами

Какие техники используют знаменитости для достижения своих целей?

Cosmopolitan
11 продуктов питания, которые ученые советуют избегать 11 продуктов питания, которые ученые советуют избегать

Какие именно “плохие” продукты вредят нашему здоровью?

Популярная механика
Открыть в приложении