Нейронная сеть расшифровала тона и слоги независимо друг от друга

N+1Наука

Тоновый язык декодировали с помощью многопоточной нейронной сети

Она расшифровала тона и слоги независимо друг от друга

Катерина Петрова

b938abc4dd8cfeebfe59de0769605f3e.jpeg
Коллаж N + 1. Источник: Yan Liu et al. / Science Advances, 2023

Исследователи из Китая предложили модульную многопоточную нейронную сеть, которая на основе нейронных записей синтезировала речь на тоновом языке. С ее помощью удалось декодировать восемь тоновых слогов китайского языка. Авторы показали, что их метод точнее, чем классические базовые методы глубоких нейронных сетей. Исследование опубликовано в Science Advances.

Для пациентов с потерей речи пробуют разрабатывать нейроинтерфейсы, которые преобразуют сигналы мозга в текст или в синтезированную речь. Для этого людей могут просить произнести что-то (если это невозможно, то хотя бы представить, что произносят), и записывают активность моторной коры. Во время артикуляции в ней активируются области, отвечающие за движение языка, губ, челюстей, гортани. Нейронные сигналы именно из этих областей нужны, чтобы затем на их основе синтезировать речь.

С тоновыми языками это проделать сложнее, поскольку один слог на таких языках может иметь несколько значений в зависимости от высоты тона. Различия в артикуляции тоновых слогов очень тонкие, то есть декодирование такой речи должно быть достаточно точным, чтобы хорошо различать моторные сигналы, связанные с тоном — в основном это сигналы от гортани.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Раскрыта тайна камней Стоунхенджа: ученые развенчали очередной миф Раскрыта тайна камней Стоунхенджа: ученые развенчали очередной миф

Как добывали камни для мегалитов 5000 лет назад

Популярная механика
Великая пустота Великая пустота

Монголия – наименее населенная страна мира

Вокруг света
«Экономическое образование должно быть направлено на благо людей и планеты» | “Economic Education Must Be for the Good of the People and the Planet” «Экономическое образование должно быть направлено на благо людей и планеты» | “Economic Education Must Be for the Good of the People and the Planet”

Интервью с Сонал Рагхуванши, движение Economists for Future

Позитивные изменения
Врачи предлагали ампутацию: Билозерчев стал чемпионом, несмотря на травму и бойкот Врачи предлагали ампутацию: Билозерчев стал чемпионом, несмотря на травму и бойкот

История гимнаста Дмитрия Билозерчева: как он пережил травму и получил медаль

Forbes
Домогательства возле общежития МГУ: истории студенток и комментарий психолога Домогательства возле общежития МГУ: истории студенток и комментарий психолога

Анастасия Гурнева: «Уязвимых членов общества должно поддерживать само общество»

Psychologies
«Обжигающе горячий»: как чипсы Cheetos навсегда изменили жизнь Ричарда Монтаньеса «Обжигающе горячий»: как чипсы Cheetos навсегда изменили жизнь Ричарда Монтаньеса

Фильм о мексиканце, который завязал с криминалом и устроился на фабрику чипсов

Forbes
«Релокация похожа на влюбленность»: как строить международную карьеру «Релокация похожа на влюбленность»: как строить международную карьеру

Как решиться и выйти на международный рынок труда, если кажется, что уже поздно

Forbes
Человек — швейцарский нож: как пиарщики помогают в достижении бизнес-целей Человек — швейцарский нож: как пиарщики помогают в достижении бизнес-целей

Как сделать так, чтобы о тебе узнали, тем более в правильном и нужном ключе?

Inc.
Не такие, как все: 5 животных, у которых кровь не красного цвета Не такие, как все: 5 животных, у которых кровь не красного цвета

От чего зависит цвет крови у животных и у кого она самого странного цвета?

ТехИнсайдер
Любознательный непоседа или сдержанный интеллектуал: какой твой ребенок по психоматрице Любознательный непоседа или сдержанный интеллектуал: какой твой ребенок по психоматрице

Какими чертами характера детей наделяет январь, а какими — июль?

VOICE
Городские точки притяжения: посмотрите на 10 самых больших площадей России Городские точки притяжения: посмотрите на 10 самых больших площадей России

Площади зачастую формируют облик городов и представления туристов о них

Вокруг света
Пугающие, но притягательные: 10 самых атмосферных заброшенных объектов России Пугающие, но притягательные: 10 самых атмосферных заброшенных объектов России

Подборка атмосферных заброшенных объектов по всей России

Вокруг света
Четырехкрылый квадрокоптер научили маневрировать с помощью ветра Четырехкрылый квадрокоптер научили маневрировать с помощью ветра

Инженеры из компании Elythor разработали квадрокоптер-конвертоплан

N+1
Зачем нужен психолог, и как выбрать своего? Зачем нужен психолог, и как выбрать своего?

На что обратить внимание, подбирая психолога?

Здоровье
«Мерзлая земля»: каким получился сериал, основанный на реальных событиях в Хакасии «Мерзлая земля»: каким получился сериал, основанный на реальных событиях в Хакасии

Тру-крайм «Мерзлая земля» основан на реальных событиях в Хакасии

Forbes
Живые помощники: какие насекомые полезны для сада и как их можно привлечь? Живые помощники: какие насекомые полезны для сада и как их можно привлечь?

Порой настоящие герои не носят плащи — чтобы они не мешали их крыльям!

ТехИнсайдер
Все чувства в одной тарелке Все чувства в одной тарелке

Почему мы ищем утешение в тарелке и как наладить гармоничные отношения с едой?

Psychologies
Как зуммеры и миллениалы относятся к вождению и машинам? Интересный факт Как зуммеры и миллениалы относятся к вождению и машинам? Интересный факт

Процент людей с водительскими правами значительно снизился с 1980-х годов

ТехИнсайдер
Чем можно заменить таблетку Чем можно заменить таблетку

7 самых полезных для здоровья продуктов, которые стоит включить в рацион

Лиза
Книги как фильмы: топ триллеров с уникальной сценарной составляющей Книги как фильмы: топ триллеров с уникальной сценарной составляющей

Пять триллеров, которые заслуживают экранизации

Maxim
До «Мира» и МКС: как орбитальная станция «Скайлэб» помогла расширить знания о космосе До «Мира» и МКС: как орбитальная станция «Скайлэб» помогла расширить знания о космосе

Увлекательная история орбитальной станции «Скайлэб»

Вокруг света
BMW с мотором поперек. Тест-драйв Changan CS85 Coupe BMW с мотором поперек. Тест-драйв Changan CS85 Coupe

Первый тест и обзор нового китайского кроссовера Changan CS85 Coupe

РБК
В Шёнингене обнаружили 300-тысячелетние следы ног вымерших людей В Шёнингене обнаружили 300-тысячелетние следы ног вымерших людей

Ученые исследовали отпечатки ног, обнаруженные в местности Шёнинген

N+1
Сканеры отпечатков пальцев на 10 смартфонах удалось взломать методом перебора Сканеры отпечатков пальцев на 10 смартфонах удалось взломать методом перебора

Ученые нашли уязвимости в смартфонах шести крупных компаний

N+1
Катя Chepikk: «Стать большим артистом — это не мечта. Это мое предназначение» Катя Chepikk: «Стать большим артистом — это не мечта. Это мое предназначение»

Катя Chepikk не сомневается в своем успехе

ЖАРА Magazine
Генетики обнаружили древнейших зараженных чумой в Британии Генетики обнаружили древнейших зараженных чумой в Британии

ДНК бактерий нашли в зубах трех человек, живших около четырех тысяч лет назад

N+1
Почему женщины живут с нарциссами: 4 причины — не занимайтесь самообманом Почему женщины живут с нарциссами: 4 причины — не занимайтесь самообманом

Мы собрали четыре разновидности самообмана партнеров нарциссов

Psychologies
Чтобы она улыбалась Чтобы она улыбалась

Что делать ребенку, если учеба превратилась в желание понравиться учительнице

СНОБ
Миллионеры Юрского периода Миллионеры Юрского периода

Сколько стоят динозавры?

Деньги
Уйти нельзя остаться: где поставить запятую, если мы только начали терапию Уйти нельзя остаться: где поставить запятую, если мы только начали терапию

Как понять, сколько сессий у психолога достаточно пройти?

Psychologies
Открыть в приложении