Нейронная сеть расшифровала тона и слоги независимо друг от друга

N+1Наука

Тоновый язык декодировали с помощью многопоточной нейронной сети

Она расшифровала тона и слоги независимо друг от друга

Катерина Петрова

b938abc4dd8cfeebfe59de0769605f3e.jpeg
Коллаж N + 1. Источник: Yan Liu et al. / Science Advances, 2023

Исследователи из Китая предложили модульную многопоточную нейронную сеть, которая на основе нейронных записей синтезировала речь на тоновом языке. С ее помощью удалось декодировать восемь тоновых слогов китайского языка. Авторы показали, что их метод точнее, чем классические базовые методы глубоких нейронных сетей. Исследование опубликовано в Science Advances.

Для пациентов с потерей речи пробуют разрабатывать нейроинтерфейсы, которые преобразуют сигналы мозга в текст или в синтезированную речь. Для этого людей могут просить произнести что-то (если это невозможно, то хотя бы представить, что произносят), и записывают активность моторной коры. Во время артикуляции в ней активируются области, отвечающие за движение языка, губ, челюстей, гортани. Нейронные сигналы именно из этих областей нужны, чтобы затем на их основе синтезировать речь.

С тоновыми языками это проделать сложнее, поскольку один слог на таких языках может иметь несколько значений в зависимости от высоты тона. Различия в артикуляции тоновых слогов очень тонкие, то есть декодирование такой речи должно быть достаточно точным, чтобы хорошо различать моторные сигналы, связанные с тоном — в основном это сигналы от гортани.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Ведро, чарка, мерзавчик: Как на Руси мерили водку Ведро, чарка, мерзавчик: Как на Руси мерили водку

Почему именно ведро стало точкой отсчета для торговли спиртным

Maxim
Чем запомнился политик и медиамагнат Сильвио Берлускони Чем запомнился политик и медиамагнат Сильвио Берлускони

Как бывший премьер-министр Италии Сильвио Берлускони создал медиакорпорацию

СНОБ
Борьба с домогательствами и самоирония: как женщины добивались равноправия в XXI веке Борьба с домогательствами и самоирония: как женщины добивались равноправия в XXI веке

Отрывок из книги Марисы Бейт «Периодическая таблица феминизма»

Forbes
Черви-костоеды поели акульих зубов Черви-костоеды поели акульих зубов

Оказывается, черви-костоеды едят не только акульи кости, но и зубы

N+1
Как пробурить сверхглубокую шахту с помощью плазмы: геотермальная энергия на службе человечеству Как пробурить сверхглубокую шахту с помощью плазмы: геотермальная энергия на службе человечеству

Новые технологии, которые могут открыть доступ к геотермальной энергии везде

ТехИнсайдер
Самые неожиданные способы заразиться венерическими болезнями Самые неожиданные способы заразиться венерическими болезнями

Гонореей, сифилисом, хламидиозом можно заразиться бытовым путем

Maxim
Кофе можно не только пить: 8 удивительных применений молотого кофе в быту Кофе можно не только пить: 8 удивительных применений молотого кофе в быту

8 потрясающих лайфхаков с кофе, которые непременно вам понравятся!

ТехИнсайдер
Братья наши равные Братья наши равные

Как президент США хотел защитить природу, а оказалось, что не от кого

Weekend
10 самых живописных пляжей России 10 самых живописных пляжей России

Песок и галька, косы и мысы, горы и скалы

Караван историй
Страшно? Не бойтесь! Как наш мозг обманывает тело Страшно? Не бойтесь! Как наш мозг обманывает тело

Почему мы боимся смерти?

Psychologies
Лидия Смирнова покоряла мужские сердца и в 80 лет Лидия Смирнова покоряла мужские сердца и в 80 лет

В фильмографии Смирновой много ярких образов

Коллекция. Караван историй
Надежда Сысоева: «Бывает, я так устаю, что ложусь на паркет и не могу пошевелиться» Надежда Сысоева: «Бывает, я так устаю, что ложусь на паркет и не могу пошевелиться»

Актриса Надежда Сысоева — о том, что ей больше всего нравится в спорте

Maxim
Новый подход к программам долгосрочной мотивации сотрудников: кейс «Авито» Новый подход к программам долгосрочной мотивации сотрудников: кейс «Авито»

Как компания «Авито» решила вопрос долгосрочной мотивации сотрудников

Forbes
Движение HeForShe: как мужчины и компании объединяются, чтобы бороться с патриархатом Движение HeForShe: как мужчины и компании объединяются, чтобы бороться с патриархатом

Как появилось и чем занимается движение HeForShe?

Forbes
Аглая Иванoвна Аглая Иванoвна

Бухгалтер переезжает в Петербург и за пару лет становится топ-моделью

Собака.ru
Горькая истина: почему огурцы горчат и как избавиться от этого неприятного привкуса Горькая истина: почему огурцы горчат и как избавиться от этого неприятного привкуса

Горечь — это защитный механизм огурца, но можно ли с ним что-то сделать?

ТехИнсайдер
Нейросеть точно оценила хаос и помогла найти признаки болезни Альцгеймера на энцефалограммах Нейросеть точно оценила хаос и помогла найти признаки болезни Альцгеймера на энцефалограммах

Алгоритм смог рассортировать ЭЭГ здоровых людей и пациентом с Альцгеймером

ТехИнсайдер
Мифы об известных писателях Мифы об известных писателях

10 самых популярных заблуждений, в которые верят даже начитанные интеллектуалы

Maxim
О чём пишут научно-популярные журналы мира О чём пишут научно-популярные журналы мира

Угроза от соли, раннее изучение иностранного языка и электрические самолеты

Наука и жизнь
Умиротворение Умиротворение

В августе 1940 года немецкие самолеты совершили первый налёт на Великобританию

Дилетант
«Мы расширяем границы кредитования для предпринимателей» «Мы расширяем границы кредитования для предпринимателей»

Как выстоять в жесткой конкуренции за клиентов

Деньги
«Это жалкий муж для меня»: как отдавали под венец представительниц знати «Это жалкий муж для меня»: как отдавали под венец представительниц знати

О блистательной сестре Александра I и ее браке

Forbes
Главный фантаст Китая Лю Цысинь: секрет успеха «Задачи трех тел» Главный фантаст Китая Лю Цысинь: секрет успеха «Задачи трех тел»

Рассказываем о книгах Лю Цысиня и его пути к успеху

Maxim
Искусство займа Искусство займа

Почему реальная цена кредитов больше заявленной

Деньги
Директор аукционного дома Егор Молчанов: Нонконформисты существовали за пределами выставочной и музейной жизни Директор аукционного дома Егор Молчанов: Нонконформисты существовали за пределами выставочной и музейной жизни

Почему внимание коллекционеров обращено именно на художников-нонконформистов?

СНОБ
Перевод стрелок. Почему мир отказывается от перехода на летнее время Перевод стрелок. Почему мир отказывается от перехода на летнее время

Зачем в России увеличивали световой день и почему мир отказывается от этого

СНОБ
Как быть, если у мужчины не проснулись отцовские чувства: 4 совета от Андрея Курпатова Как быть, если у мужчины не проснулись отцовские чувства: 4 совета от Андрея Курпатова

Как мужчины воспринимают отцовство?

Psychologies
«Обращайтесь адресно»: как правильно просить, чтобы не получить отказ — 7 психологических хитростей «Обращайтесь адресно»: как правильно просить, чтобы не получить отказ — 7 психологических хитростей

Психолог делится лайфхаками, которые позволят гарантированно получить желаемое

Psychologies
Вечный капитал на добрые дела: как его создать и зачем это нужно Вечный капитал на добрые дела: как его создать и зачем это нужно

Как обеспечить выбранную организацию или проект поддержкой на долгие годы?

Inc.
После сотрясения мозг исцеляет себя глубоким сном После сотрясения мозг исцеляет себя глубоким сном

Мозг после травмы погружает пострадавшего в сон более глубокий, чем обычно

ТехИнсайдер
Открыть в приложении