Нейронная сеть расшифровала тона и слоги независимо друг от друга

N+1Наука

Тоновый язык декодировали с помощью многопоточной нейронной сети

Она расшифровала тона и слоги независимо друг от друга

Катерина Петрова

b938abc4dd8cfeebfe59de0769605f3e.jpeg
Коллаж N + 1. Источник: Yan Liu et al. / Science Advances, 2023

Исследователи из Китая предложили модульную многопоточную нейронную сеть, которая на основе нейронных записей синтезировала речь на тоновом языке. С ее помощью удалось декодировать восемь тоновых слогов китайского языка. Авторы показали, что их метод точнее, чем классические базовые методы глубоких нейронных сетей. Исследование опубликовано в Science Advances.

Для пациентов с потерей речи пробуют разрабатывать нейроинтерфейсы, которые преобразуют сигналы мозга в текст или в синтезированную речь. Для этого людей могут просить произнести что-то (если это невозможно, то хотя бы представить, что произносят), и записывают активность моторной коры. Во время артикуляции в ней активируются области, отвечающие за движение языка, губ, челюстей, гортани. Нейронные сигналы именно из этих областей нужны, чтобы затем на их основе синтезировать речь.

С тоновыми языками это проделать сложнее, поскольку один слог на таких языках может иметь несколько значений в зависимости от высоты тона. Различия в артикуляции тоновых слогов очень тонкие, то есть декодирование такой речи должно быть достаточно точным, чтобы хорошо различать моторные сигналы, связанные с тоном — в основном это сигналы от гортани.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Всего два дня отсутствия здорового сна могут заставить человека чувствовать себя на годы старше Всего два дня отсутствия здорового сна могут заставить человека чувствовать себя на годы старше

Недосып прибавляет к ощущаемому возрасту человека почти 4,5 года

ТехИнсайдер
Кинофраншизы, которые не сдуваются до конца Кинофраншизы, которые не сдуваются до конца

Тот самый случай, когда первый фильм, сиквел, триквел и дополняют друг друга

Maxim
Мыши с выключенным протоонкогеном Myc быстро состарились и прожили дольше Мыши с выключенным протоонкогеном Myc быстро состарились и прожили дольше

Как протоонкоген Мус влияет на продолжительность жизни?

N+1
В чем разница между красным, белым и желтым репчатым луком? Дело не только в цвете! В чем разница между красным, белым и желтым репчатым луком? Дело не только в цвете!

Теперь вы будете знать, какой лук лучше выбирать в магазине!

ТехИнсайдер
Страшный сон Раскольникова: как японский режиссер поставил «Преступление и наказание» Страшный сон Раскольникова: как японский режиссер поставил «Преступление и наказание»

Режиссер из Японии Мотои Миура поставил спектакль «Преступление и наказание»

Forbes
В чем выражается ваша (не)любовь к себе: 5 примеров из повседневной жизни В чем выражается ваша (не)любовь к себе: 5 примеров из повседневной жизни

Что означает любовь к себе? На чем она основывается и как формируется?

Psychologies
Великая степь Великая степь

Великая степь была всегда, сколько себя помнит человечество

Вокруг света
Почему люди боятся своих цифровых двойников Почему люди боятся своих цифровых двойников

Развиваются приложения deepfake, которые позволяют создавать ИИ-клоны человека

ТехИнсайдер
«Людей нужно где-то кормить»: почему регионы переживают бум ресторанных франшиз «Людей нужно где-то кормить»: почему регионы переживают бум ресторанных франшиз

Как развивается российский общепит в регионах

Forbes
Без главного лица Без главного лица

«Он — это пуля»: несостоявшийся культовый триллер

Weekend
Можно ли заработать на инвестициях в музыкальную индустрию Можно ли заработать на инвестициях в музыкальную индустрию

Какими знаниями нужно обладать и сколько времени и денег придется вложить?

РБК
Моряк, который чуть не спас «Титаник»: удивительная история Чарльза Лайтоллера, выживавшего в самых жутких катастрофах Моряк, который чуть не спас «Титаник»: удивительная история Чарльза Лайтоллера, выживавшего в самых жутких катастрофах

В середине XX века Лайтроллера называли «профессиональным героем»

VOICE
Что такое альгинатная маска и почему ее стоит попробовать Что такое альгинатная маска и почему ее стоит попробовать

Что представляет собой альгинатная маска и как получить от нее максимум пользы

РБК
Допрос с бесчувствием Допрос с бесчувствием

«Копенгагена не существует»: «Секс, ложь и видео» эпохи самоизоляции

Weekend
«Ношу эту рубашку 20 лет». Пять историй о долгожителях гардероба «Ношу эту рубашку 20 лет». Пять историй о долгожителях гардероба

Девушки рассказали об одежде, обуви и сумках, которые они купили 10-20 лет

РБК
Словарь нового веба Словарь нового веба

Как сегодня говорят про нейросети, мемы и жизнь в интернете

N+1
Чем полезна черешня: объяснения нутрициолога Чем полезна черешня: объяснения нутрициолога

Как съесть ведро черешни и не умереть?

Psychologies
Что делать, если DNS сервер не отвечает Что делать, если DNS сервер не отвечает

Что делать при появлении ошибки DNS сервер не отвечает?

CHIP
В Стамбуле открывается Музей современного искусства от архитектора ГЭС-2 Ренцо Пьяно В Стамбуле открывается Музей современного искусства от архитектора ГЭС-2 Ренцо Пьяно

Яна Жиляева изучила, как устроен новый Музей современного искусства в Турции

Forbes
Странные и прекрасные застольные традиции народов мира Странные и прекрасные застольные традиции народов мира

Рассказываем об интересных алкогольных обычаях разных стран

Maxim
14 признаков того, что ты нашла свою родственную душу 14 признаков того, что ты нашла свою родственную душу

Признаки, которые указывают на то, что ты нашла свою родственную душу

VOICE
Александр Траугот Александр Траугот

За авторской росписью Александра Траугота охотятся фанаты и коллекционеры

Собака.ru
«Концентрируйтесь на функциональности»: как правильно думать о теле — повысьте самооценку «Концентрируйтесь на функциональности»: как правильно думать о теле — повысьте самооценку

Как нужно думать о внешности, чтобы принять себя со всеми особенностями?

Psychologies
В Монголии обнаружили древнейшее украшение в форме фаллоса В Монголии обнаружили древнейшее украшение в форме фаллоса

Древнейшее украшение в форме фаллоса, когда-либо найденное в мире

N+1
Людмила Петрановская объяснила, что делать, если ребенок не слышит, пока не наорешь Людмила Петрановская объяснила, что делать, если ребенок не слышит, пока не наорешь

Можно ли повышать голос на ребенка, если тот пропускает все мимо ушей?

Psychologies
Актер из «Гарри Поттера» — профессиональный боец ММА: ушел в спорт после съемок и уже дважды победил Актер из «Гарри Поттера» — профессиональный боец ММА: ушел в спорт после съемок и уже дважды победил

Десять очков «Слизерину»!

Maxim
Вошли в династию: как выглядят мужья и жены детей знаменитых актеров Вошли в династию: как выглядят мужья и жены детей знаменитых актеров

Избранники и избранницы, которые вошли в знаменитые актерские династии

VOICE
Мигрень повысила риск преждевременного инфаркта у женщин Мигрень повысила риск преждевременного инфаркта у женщин

У женщин с мигренью риск инфаркта миокарда и инсульта выше, чем у мужчин

N+1
Старая новая дача Старая новая дача

Знакомьтесь с обновлённой версией дома для сезонного проживания

Идеи Вашего Дома
Неизвестный Нижний Неизвестный Нижний

Нижний Новгород сочетает в себе богатство купеческой жизни и традиции

Отдых в России
Открыть в приложении