Нейронная сеть расшифровала тона и слоги независимо друг от друга

N+1Наука

Тоновый язык декодировали с помощью многопоточной нейронной сети

Она расшифровала тона и слоги независимо друг от друга

Катерина Петрова

b938abc4dd8cfeebfe59de0769605f3e.jpeg
Коллаж N + 1. Источник: Yan Liu et al. / Science Advances, 2023

Исследователи из Китая предложили модульную многопоточную нейронную сеть, которая на основе нейронных записей синтезировала речь на тоновом языке. С ее помощью удалось декодировать восемь тоновых слогов китайского языка. Авторы показали, что их метод точнее, чем классические базовые методы глубоких нейронных сетей. Исследование опубликовано в Science Advances.

Для пациентов с потерей речи пробуют разрабатывать нейроинтерфейсы, которые преобразуют сигналы мозга в текст или в синтезированную речь. Для этого людей могут просить произнести что-то (если это невозможно, то хотя бы представить, что произносят), и записывают активность моторной коры. Во время артикуляции в ней активируются области, отвечающие за движение языка, губ, челюстей, гортани. Нейронные сигналы именно из этих областей нужны, чтобы затем на их основе синтезировать речь.

С тоновыми языками это проделать сложнее, поскольку один слог на таких языках может иметь несколько значений в зависимости от высоты тона. Различия в артикуляции тоновых слогов очень тонкие, то есть декодирование такой речи должно быть достаточно точным, чтобы хорошо различать моторные сигналы, связанные с тоном — в основном это сигналы от гортани.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Всего два дня отсутствия здорового сна могут заставить человека чувствовать себя на годы старше Всего два дня отсутствия здорового сна могут заставить человека чувствовать себя на годы старше

Недосып прибавляет к ощущаемому возрасту человека почти 4,5 года

ТехИнсайдер
Строго по трафику: Минцифры заставляет операторов самих блокировать веб-ресурсы Строго по трафику: Минцифры заставляет операторов самих блокировать веб-ресурсы

Минцифры хочет заставить операторов блокировать все запрещенные интернет-ресурсы

Forbes
Ошибка 0x80070422: когда она появляется, и как ее исправить Ошибка 0x80070422: когда она появляется, и как ее исправить

Как исправить ошибку 0x80070422 при обновлении Windows 10

CHIP
Артельный труд. Как в России появились передвижники Артельный труд. Как в России появились передвижники

Какой след в истории России оставили передвижники?

СНОБ
3 вещи, которые старят и прибавляют вес женщинам после 40 лет: мнение эксперта 3 вещи, которые старят и прибавляют вес женщинам после 40 лет: мнение эксперта

Гардероб после сорока лет — это не сплошные правила и отказы

VOICE
Математики научили нейросеть предсказывать будущее. Пока не слишком далекое Математики научили нейросеть предсказывать будущее. Пока не слишком далекое

Исследование показало, как мозг предсказывает будущее в режиме реального времени

ТехИнсайдер
Как избавиться от одиночества: 7 рабочих стратегий Как избавиться от одиночества: 7 рабочих стратегий

Советы от специалистов, которые помогут выбраться из состояния одиночества

ТехИнсайдер
Таурин замедлил клеточное старение и продлил здоровую жизнь у мышей и обезьян Таурин замедлил клеточное старение и продлил здоровую жизнь у мышей и обезьян

Ученые выяснили, что с возрастом в крови значительно снижается уровень таурина

N+1
Вопрос психологу: почему созависимые люди продолжают страдать в паре Вопрос психологу: почему созависимые люди продолжают страдать в паре

Можно ли выбраться из созависимости? Есть ли шанс на счастье в подобной связи?

Правила жизни
Истории о нарушении пищевого поведения у подростков Истории о нарушении пищевого поведения у подростков

Как быть и к каким специалистам обращаться, если у подростка РПП?

СНОБ
«Сколько дадим, столько и получим»: психолог о лучшем инструменте влияния в паре «Сколько дадим, столько и получим»: психолог о лучшем инструменте влияния в паре

Постоянный обмен — лучший способ углубить отношения

Psychologies
Виртуальный доллар: зачем банки сохраняют счета физлиц в «токсичных» валютах Виртуальный доллар: зачем банки сохраняют счета физлиц в «токсичных» валютах

Девалютизация банковской системы не заставила банки вывести доллары и евро

Forbes
Море зовет: 10 организаций, занимающихся защитой океанов Море зовет: 10 организаций, занимающихся защитой океанов

Рассказываем о тех, кто спасает побережья от загрязнения и бережет морскую фауну

Правила жизни
Не похожий на меня: что смотреть, если вам нравится «Черное зеркало» Не похожий на меня: что смотреть, если вам нравится «Черное зеркало»

Пять шоу, похожих на «Черное зеркало»

Правила жизни
Аспирин снизил риск развития опухоли печени у больных с неалкогольной жировой болезнью печени Аспирин снизил риск развития опухоли печени у больных с неалкогольной жировой болезнью печени

Ежедневный прием аспирина снижает риск развития гепатоцеллюлярной карциномы

N+1
«Расскажите немного о себе»: что отвечать на собеседовании — 4 совета «Расскажите немного о себе»: что отвечать на собеседовании — 4 совета

Как заинтересовать работодателя историей карьерного пути?

Psychologies
Этому древнему хищнику оторвали голову одним мощным укусом: кто мог это сделать? Этому древнему хищнику оторвали голову одним мощным укусом: кто мог это сделать?

В среднем триасе даже охотник мог стать жертвой

ТехИнсайдер
Почему отношения не выдерживают проверку временем: 5 красных флажков Почему отношения не выдерживают проверку временем: 5 красных флажков

Психологи выделяют распространенные признаки распада отношений

Psychologies
6 способов убежать от жары 6 способов убежать от жары

Лето в городе: духота, пыль и плюс 30 в тени… как же сделать жизнь прохладнее?

Здоровье
Прогулки по Мурому Прогулки по Мурому

Муром – древний город, в котором жили Петр и Феврония

Лиза
Эпоха «посткремниевой долины» Эпоха «посткремниевой долины»

В России создается элементная база, работающая на новых физических принципах

Наука
Андрей Себрант: «Самые интересные профессии еще не появились» Андрей Себрант: «Самые интересные профессии еще не появились»

Кем быть в эпоху нестабильности с одной стороны, и расцвета технологий с другой?

РБК
«Даю Теоне от 50 до 100 тысяч и плачу алименты»: Курбан Омаров рассказал о тратах на дочь от Ксении Бородиной «Даю Теоне от 50 до 100 тысяч и плачу алименты»: Курбан Омаров рассказал о тратах на дочь от Ксении Бородиной

Курбан Омаров откровенно рассказал о разводе с Ксенией Бородиной

VOICE
LBX. Самый маленький Lexus LBX. Самый маленький Lexus

Новый кроссовер Lexus LBX станет самой маленькой моделью бренда

4x4 Club
Мужчина и женщина: как понять друг друга — советы сексолога Мужчина и женщина: как понять друг друга — советы сексолога

Почему мужчины и женщины порой не слышат друг друга?

Psychologies
«Тед Лассо»: чему нас научил заключительный сезон самого жизнеутверждающего телешоу «Тед Лассо»: чему нас научил заключительный сезон самого жизнеутверждающего телешоу

Как «Тед Лассо» научил нас, что настоящая поддержка побеждает боль?

Psychologies
Александр Тоболь Александр Тоболь

Вице-президент VK и техдир ВКонтакте играет в шахматы с четырех лет

Собака.ru
Основатель «Дикой мяты» Андрей Клюкин рассказал о планах на лето, своих принципах и любимой музыке Основатель «Дикой мяты» Андрей Клюкин рассказал о планах на лето, своих принципах и любимой музыке

Андрей Клюкин рассказал, за что не любит музыкальных критиков

СНОБ
Английский по историям великих женщин: как учить язык без скуки, слез и зубрежки Английский по историям великих женщин: как учить язык без скуки, слез и зубрежки

Создательница Use your Girl Power! — о том, каким должно быть образование

Forbes
Почему монструозный стиль подвинул в сторону «чистых» девушек Почему монструозный стиль подвинул в сторону «чистых» девушек

Почему стиль «хорошей девочки» начал уступать «дерзкой девчонке»?

Psychologies
Открыть в приложении