Нейронная сеть расшифровала тона и слоги независимо друг от друга

N+1Наука

Тоновый язык декодировали с помощью многопоточной нейронной сети

Она расшифровала тона и слоги независимо друг от друга

Катерина Петрова

b938abc4dd8cfeebfe59de0769605f3e.jpeg
Коллаж N + 1. Источник: Yan Liu et al. / Science Advances, 2023

Исследователи из Китая предложили модульную многопоточную нейронную сеть, которая на основе нейронных записей синтезировала речь на тоновом языке. С ее помощью удалось декодировать восемь тоновых слогов китайского языка. Авторы показали, что их метод точнее, чем классические базовые методы глубоких нейронных сетей. Исследование опубликовано в Science Advances.

Для пациентов с потерей речи пробуют разрабатывать нейроинтерфейсы, которые преобразуют сигналы мозга в текст или в синтезированную речь. Для этого людей могут просить произнести что-то (если это невозможно, то хотя бы представить, что произносят), и записывают активность моторной коры. Во время артикуляции в ней активируются области, отвечающие за движение языка, губ, челюстей, гортани. Нейронные сигналы именно из этих областей нужны, чтобы затем на их основе синтезировать речь.

С тоновыми языками это проделать сложнее, поскольку один слог на таких языках может иметь несколько значений в зависимости от высоты тона. Различия в артикуляции тоновых слогов очень тонкие, то есть декодирование такой речи должно быть достаточно точным, чтобы хорошо различать моторные сигналы, связанные с тоном — в основном это сигналы от гортани.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Ведро, чарка, мерзавчик: Как на Руси мерили водку Ведро, чарка, мерзавчик: Как на Руси мерили водку

Почему именно ведро стало точкой отсчета для торговли спиртным

Maxim
За кулисами счастья Абдаллы и Рании: тайны и трагедии королевской семьи Иордана За кулисами счастья Абдаллы и Рании: тайны и трагедии королевской семьи Иордана

Почему король Абдалла II так ценит свой личный островок спокойствия

VOICE
Влияют на гормоны и красоту: почему опасно носить солнцезащитные очки слишком долго Влияют на гормоны и красоту: почему опасно носить солнцезащитные очки слишком долго

Оказывается, солнцезащитные очки опасно носить подолгу

VOICE
Вместо Google Docs: 5 сервисов для совместной работы с документами Вместо Google Docs: 5 сервисов для совместной работы с документами

Предлагаем хорошие альтернативы Google Docs

CHIP
Многообещающие голливудские актрисы 1990-х, о которых все забыли – где они теперь? Многообещающие голливудские актрисы 1990-х, о которых все забыли – где они теперь?

Прошло пару десятков лет, и эти имена почти забыты

VOICE
Математики научили нейросеть предсказывать будущее. Пока не слишком далекое Математики научили нейросеть предсказывать будущее. Пока не слишком далекое

Исследование показало, как мозг предсказывает будущее в режиме реального времени

ТехИнсайдер
Тося Чайкина Тося Чайкина

Королева непредсказуемых фитов и певица из среды академических музыкантов

Собака.ru
«Не цельтесь в уязвимые места»: 8 негласных правил ссоры — применяйте с партнером «Не цельтесь в уязвимые места»: 8 негласных правил ссоры — применяйте с партнером

Как выяснять отношения уважительно и каких ошибок стоит избегать?

Psychologies
Он покорил Монако и Везувий. 114 лет первому российскому серийному авто Он покорил Монако и Везувий. 114 лет первому российскому серийному авто

Как Российская империя стала лидером мирового автопрома?

РБК
Все фильмы про трансформеров: от худших к лучшему Все фильмы про трансформеров: от худших к лучшему

Киноэпопея про сложную дружбу человечества с автоботами затянулась на славу

Maxim
Крутятся диски Крутятся диски

Утилизация отработавшей свое компьютерной техники оказалась выгодным делом

Наука
BMW X3 и Genesis GV70 разбили на краш-тестах: на чем безопасно ездить BMW X3 и Genesis GV70 разбили на краш-тестах: на чем безопасно ездить

BMW X3 и Mercedes GLC стали самыми безопасными моделями на краш-тестах

РБК
Максим Пратусевич и Кирилл Сухов Максим Пратусевич и Кирилл Сухов

Физматлицей № 239 — феномен среди образовательных брендов Петербурга

Собака.ru
Александр Тоболь Александр Тоболь

Вице-президент VK и техдир ВКонтакте играет в шахматы с четырех лет

Собака.ru
Кино на драйве: зачем «Формула-1» стала съемочной площадкой голливудского фильма Кино на драйве: зачем «Формула-1» стала съемочной площадкой голливудского фильма

Как и зачем «Формула-1» завоевывает мир с большого экрана

Forbes
6 отличных хорроров, снятых в России 6 отличных хорроров, снятых в России

Наши авторы сериалов и фильмов потихоньку набили руку на хоррорных историях

Maxim
Что можно есть ночью, если ты не можешь уснуть и умираешь с голоду: большой список от диетологов Что можно есть ночью, если ты не можешь уснуть и умираешь с голоду: большой список от диетологов

Держи список блюд и продуктов, которыми можно перекусить посреди ночи

VOICE
Маленькие, но премиальные. Сравнение BMW X1 M35i и Mercedes-AMG GLA 35 Маленькие, но премиальные. Сравнение BMW X1 M35i и Mercedes-AMG GLA 35

Кроссоверы BMW и Mercedes-AMG очень похожи и выбирать между ними непросто

4x4 Club
5 мифов об энергетических напитках 5 мифов об энергетических напитках

Почему некоторые боятся энергетических напитков?

Maxim
Екатерина Смольникова Екатерина Смольникова

Основательница благотворительного фонда Play And Help и автор детских книг

Собака.ru
Беларусь вводит химическую кастрацию для педофилов: насколько эффективно такое наказание Беларусь вводит химическую кастрацию для педофилов: насколько эффективно такое наказание

Как наказывают за насилие над детьми в разных странах

Psychologies
Опасная бессонница Опасная бессонница

Учёные предупреждают: бессонница связана с повышенным риском сердечного приступа

Здоровье
Дресс-код и шутки о погоде: что нужно знать женщине-экспату, чтобы вести бизнес в ОАЭ Дресс-код и шутки о погоде: что нужно знать женщине-экспату, чтобы вести бизнес в ОАЭ

Сложно ли женщине вести бизнес в ОАЭ?

Forbes
Ученые воссоздают в 3D города, исчезнувшие с лица Земли Ученые воссоздают в 3D города, исчезнувшие с лица Земли

Исследователи воссоздали 3D-модели районов, которых больше не существует

ТехИнсайдер
Преступники или герои? Какими бывают хакеры и правда ли все они программисты Преступники или герои? Какими бывают хакеры и правда ли все они программисты

Денис Ройо делится своим видением мира хакеров изнутри

ТехИнсайдер
Английский по историям великих женщин: как учить язык без скуки, слез и зубрежки Английский по историям великих женщин: как учить язык без скуки, слез и зубрежки

Создательница Use your Girl Power! — о том, каким должно быть образование

Forbes
Три сочных русских мужских сериала, которые вы могли пропустить Три сочных русских мужских сериала, которые вы могли пропустить

Делимся случайно найденным и полюбившимся русскими сериалами

Maxim
Ксения Подвальная Ксения Подвальная

Главный феномен петербургской моды прямо сейчас — Atelier Biser

Собака.ru
Неорганизованный ребенок: 6 советов для решения проблемы — попробуйте самостоятельно Неорганизованный ребенок: 6 советов для решения проблемы — попробуйте самостоятельно

Простые и полезные рекомендации, как приучить ребенка к самостоятельности

Psychologies
Пуд соли на двоих Пуд соли на двоих

Где заключаются браки и что нужно сделать, чтобы жить долго и счастливо?

Seasons of life
Открыть в приложении