Нейронная сеть расшифровала тона и слоги независимо друг от друга

N+1Наука

Тоновый язык декодировали с помощью многопоточной нейронной сети

Она расшифровала тона и слоги независимо друг от друга

Катерина Петрова

b938abc4dd8cfeebfe59de0769605f3e.jpeg
Коллаж N + 1. Источник: Yan Liu et al. / Science Advances, 2023

Исследователи из Китая предложили модульную многопоточную нейронную сеть, которая на основе нейронных записей синтезировала речь на тоновом языке. С ее помощью удалось декодировать восемь тоновых слогов китайского языка. Авторы показали, что их метод точнее, чем классические базовые методы глубоких нейронных сетей. Исследование опубликовано в Science Advances.

Для пациентов с потерей речи пробуют разрабатывать нейроинтерфейсы, которые преобразуют сигналы мозга в текст или в синтезированную речь. Для этого людей могут просить произнести что-то (если это невозможно, то хотя бы представить, что произносят), и записывают активность моторной коры. Во время артикуляции в ней активируются области, отвечающие за движение языка, губ, челюстей, гортани. Нейронные сигналы именно из этих областей нужны, чтобы затем на их основе синтезировать речь.

С тоновыми языками это проделать сложнее, поскольку один слог на таких языках может иметь несколько значений в зависимости от высоты тона. Различия в артикуляции тоновых слогов очень тонкие, то есть декодирование такой речи должно быть достаточно точным, чтобы хорошо различать моторные сигналы, связанные с тоном — в основном это сигналы от гортани.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Ведро, чарка, мерзавчик: Как на Руси мерили водку Ведро, чарка, мерзавчик: Как на Руси мерили водку

Почему именно ведро стало точкой отсчета для торговли спиртным

Maxim
Дорогой Кент: лучшие фильмы, сериалы и мультфильмы о Супермене Дорогой Кент: лучшие фильмы, сериалы и мультфильмы о Супермене

Лучшие фильмы, сериалы, мультфильмы о приключениях Кларка Кента и его альтер эго

Правила жизни
Ни в коем случае не наносите сметану: как быстро вылечить солнечный ожог и облегчить боль Ни в коем случае не наносите сметану: как быстро вылечить солнечный ожог и облегчить боль

Случайно уснули на солнце, пока загорали?

ТехИнсайдер
Свежевыжатые соки Свежевыжатые соки

Какие плюсы и минусы скрываются в ароматных соблазнах свежевыжатых соков?

Здоровье
Андрей Себрант: «Самые интересные профессии еще не появились» Андрей Себрант: «Самые интересные профессии еще не появились»

Кем быть в эпоху нестабильности с одной стороны, и расцвета технологий с другой?

РБК
Самые уязвимые: как стигма в обществе влияет на женщин с ментальными расстройствами Самые уязвимые: как стигма в обществе влияет на женщин с ментальными расстройствами

Как стигматизация повышает уязвимость женщин с ментальными расстройствами

Forbes
Владимир Хавинсон Владимир Хавинсон

Академик РАН занимается изучением нормализации активности генов больше 40 лет

Собака.ru
Фрукты бывают вредными? Вот что будет, если их слишком много в диете! Фрукты бывают вредными? Вот что будет, если их слишком много в диете!

Фрукты являются ключом здорового питания, но их избыток может быть вредным

ТехИнсайдер
Новый Lexus GX доказывает, что у стильной формы может быть содержание Новый Lexus GX доказывает, что у стильной формы может быть содержание

Более крупный и мощный Lexus GX получил первое серьёзное обновление

4x4 Club
Польза или вред: стоит ли тренироваться каждый день Польза или вред: стоит ли тренироваться каждый день

Что будет, если тренироваться каждый день? Крепкие мышцы или травмы?

Правила жизни
Выставка Леонида Шервуда в Русском музее Выставка Леонида Шервуда в Русском музее

Леонид Владимирович Шервуд родился в Москве 16 (28) апреля 1871 года

Наука и жизнь
Олег Шепс: «Быть секс-символом как-то неловко, но это и прикольно, что тут таить!» Олег Шепс: «Быть секс-символом как-то неловко, но это и прикольно, что тут таить!»

Олег Шепс впервые рассказал, когда расстался с девушкой

VOICE
Символы в украшениях: как они могут повлиять на твою судьбу Символы в украшениях: как они могут повлиять на твою судьбу

Почему важно осознанно выбирать символику в украшениях?

VOICE
Ксения Михeева Ксения Михeева

Танцовщица Ксения Михеева в контемпорари пришла из классического балета

Собака.ru
Люди с высокими и низкими когнитивными способностями скопили меньше долгов Люди с высокими и низкими когнитивными способностями скопили меньше долгов

Долги и когнитивные способности людей связаны нелинейно

N+1
Зачем OceanGate отправляла людей на экскурсии к «Титанику» с риском для жизни Зачем OceanGate отправляла людей на экскурсии к «Титанику» с риском для жизни

Почему туристы погружались на дно с риском для жизни?

Forbes
Правда и мифы о белке: почему он так нужен, но вы, скорее всего, едите его недостаточно Правда и мифы о белке: почему он так нужен, но вы, скорее всего, едите его недостаточно

Зачем нашему организму белок и как понять, достаточно ли его вы потребляете?

Правила жизни
Пересадка головы, шкала Апгар и первая русская больница: 6 книг об открытиях в медицине и людях, которые их совершили Пересадка головы, шкала Апгар и первая русская больница: 6 книг об открытиях в медицине и людях, которые их совершили

Книги издательской группы «Альпина» о врачах-первопроходцах

ТехИнсайдер
Белки из зубов указали на пол детей из погребений с моделями колыбелей эпохи бронзы Белки из зубов указали на пол детей из погребений с моделями колыбелей эпохи бронзы

Ученые провели протеомный анализ зубной эмали четырех детей эпохи бронзы

N+1
Участники форума «Завтрак шефа» — о локальных продуктах и трендах Участники форума «Завтрак шефа» — о локальных продуктах и трендах

Шефы — об импортозамещении и локальных продуктах

РБК
Бассейн на даче: это сложно или нет? Бассейн на даче: это сложно или нет?

Разбираемся, чего от бассейна на дачном участке больше — пользы или проблем?

CHIP
Пять российских водок с выдающимся вкусом Пять российских водок с выдающимся вкусом

Необычная водка хороша собственными вкусовыми оттенками

Maxim
КУОК КУОК

Владимир Сорокин стал первым в СНГ, кто выпустил полноформатный релиз в Telegram

Собака.ru
Правила коррекции Правила коррекции

7 простых способов выглядеть стройнее с помощью одежды

Лиза
Вместо Google Docs: 5 сервисов для совместной работы с документами Вместо Google Docs: 5 сервисов для совместной работы с документами

Предлагаем хорошие альтернативы Google Docs

CHIP
Больше не ешь Больше не ешь

В 2017 году у людей появилась возможность резко сбросить вес без строгих диет

N+1
Дочь Брюса Уиллиса назвала самый ранний симптом отцовской болезни Дочь Брюса Уиллиса назвала самый ранний симптом отцовской болезни

Какие первые признаки деменции были у Брюса Уиллиса?

Psychologies
Алексей Нужный. Как научить смеяться Алексей Нужный. Как научить смеяться

История-признание о юморе, сложностях съемок сериалов и роли Бога в творчестве

Maxim
Почему электроавтомобили такие дорогие? Почему электроавтомобили такие дорогие?

На электромобиле можно сэкономить, но только в процессе эксплуатации

CHIP
К рекордам готовы К рекордам готовы

5 шагов не позволить себе отступить от похудения

Лиза
Открыть в приложении