Нейронная сеть расшифровала тона и слоги независимо друг от друга

N+1Наука

Тоновый язык декодировали с помощью многопоточной нейронной сети

Она расшифровала тона и слоги независимо друг от друга

Катерина Петрова

b938abc4dd8cfeebfe59de0769605f3e.jpeg
Коллаж N + 1. Источник: Yan Liu et al. / Science Advances, 2023

Исследователи из Китая предложили модульную многопоточную нейронную сеть, которая на основе нейронных записей синтезировала речь на тоновом языке. С ее помощью удалось декодировать восемь тоновых слогов китайского языка. Авторы показали, что их метод точнее, чем классические базовые методы глубоких нейронных сетей. Исследование опубликовано в Science Advances.

Для пациентов с потерей речи пробуют разрабатывать нейроинтерфейсы, которые преобразуют сигналы мозга в текст или в синтезированную речь. Для этого людей могут просить произнести что-то (если это невозможно, то хотя бы представить, что произносят), и записывают активность моторной коры. Во время артикуляции в ней активируются области, отвечающие за движение языка, губ, челюстей, гортани. Нейронные сигналы именно из этих областей нужны, чтобы затем на их основе синтезировать речь.

С тоновыми языками это проделать сложнее, поскольку один слог на таких языках может иметь несколько значений в зависимости от высоты тона. Различия в артикуляции тоновых слогов очень тонкие, то есть декодирование такой речи должно быть достаточно точным, чтобы хорошо различать моторные сигналы, связанные с тоном — в основном это сигналы от гортани.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Всего два дня отсутствия здорового сна могут заставить человека чувствовать себя на годы старше Всего два дня отсутствия здорового сна могут заставить человека чувствовать себя на годы старше

Недосып прибавляет к ощущаемому возрасту человека почти 4,5 года

ТехИнсайдер
«Это наживается нервами десятилетий, а конфискуется в одну ночь» «Это наживается нервами десятилетий, а конфискуется в одну ночь»

Александр Солженицын о правилах выживания

Weekend
Чтение — сила Чтение — сила

«Библиотекарь»: экранизация актуализировавшегося романа Михаила Елизарова

Weekend
Дама сдавала в багаж Дама сдавала в багаж

Выбираем вместительный чемодан и упаковываем его так, чтобы не было перевеса

Лиза
От Холлана до Мбаппе: десятка самых дорогих футболистов в мире От Холлана до Мбаппе: десятка самых дорогих футболистов в мире

Forbes.Спорт представляет десятку самых дорогих футболистов в мире

Forbes
Не на каждый день Не на каждый день

Эта московская квартира была задумана и реализована как «квартира–шкатулка»

SALON-Interior
Почему люди с темной кожей должны использовать крем для загара? Интересный факт Почему люди с темной кожей должны использовать крем для загара? Интересный факт

Нужно ли темнокожим людям защищать свою кожу от солнца?

ТехИнсайдер
Лунная красотка: почему с подиума пропала супермодель Надя Ауэрманн и что она делает сейчас Лунная красотка: почему с подиума пропала супермодель Надя Ауэрманн и что она делает сейчас

В 1990-е Надя Ауэрманн была одной из самых востребованных и знаменитых моделей

VOICE
Древнерусская невеста: как выходили замуж и устраивали свадебные пиры на Руси Древнерусская невеста: как выходили замуж и устраивали свадебные пиры на Руси

На Руси свадьба была делом общесемейным, поэтому заключались браки как сделки

Forbes
Фильмы, меняющие жизнь | Movies That Change Lives Фильмы, меняющие жизнь | Movies That Change Lives

Оценка социального импакта кино и практики доказательности в кинопроизводстве

Позитивные изменения
Я - плохая хозяйка: можно ли это исправить? Я - плохая хозяйка: можно ли это исправить?

Из чего складывается неумение поддерживать порядок вокруг себя?

VOICE
Алла Горбунова Алла Горбунова

Книги Аллы Горбуновой претендуют на манифесты поколения и собирают премии

Собака.ru
«Мне 59, ему 22»: почему зрелые женщины сексуально привлекают молодых мужчин «Мне 59, ему 22»: почему зрелые женщины сексуально привлекают молодых мужчин

Почему зрелые женщины заводят отношения с мужчинами сильно младше себя?

Psychologies
Самая массивная черная дыра: абсолютный чемпион Самая массивная черная дыра: абсолютный чемпион

Чемпион среди черных дыр — его масса превышает массу Солнца в 40 000 000 000 раз

ТехИнсайдер
Художник-абстракционист Алексей Ваулин: Искусство — материя, которая не терпит категоричности Художник-абстракционист Алексей Ваулин: Искусство — материя, которая не терпит категоричности

Художник-абстракционист Алексей Ваулин — о том, как понять современное искусство

СНОБ
Роботы в свитерах научились чувствовать прикосновения Роботы в свитерах научились чувствовать прикосновения

Зачем инженеры связали на автоматическом станке свитеры для роботов?

N+1
Академик Юрий Наточин: главная забота почки — чтобы каждая клетка организма могла жить своей жизнью Академик Юрий Наточин: главная забота почки — чтобы каждая клетка организма могла жить своей жизнью

Академик Юрий Наточин: жизнь появилась не в морях, а в калиевых озерах

Наука
Парк городских аэротакси практически готов к полетам. Но есть проблема Парк городских аэротакси практически готов к полетам. Но есть проблема

Скоро аэротакси поднимутся над городами, но еще есть нерешенные проблемы

ТехИнсайдер
Шимпанзе подготовились к разным вариантам будущего Шимпанзе подготовились к разным вариантам будущего

Шимпанзе не дали экспериментатору украсть еду

N+1
Скорость и смертельная опасность: как «24 часа Ле-Мана» стала легендарной гонкой Скорость и смертельная опасность: как «24 часа Ле-Мана» стала легендарной гонкой

Как трасса на севере Франции изменила мир автоспорта

Forbes
5 побочных эффектов быстрого похудения, о которых вам никто не говорит 5 побочных эффектов быстрого похудения, о которых вам никто не говорит

Быстрые диеты имеют несколько серьезных последствий для вашего здоровья

ТехИнсайдер
Деменцию у собак оценили по скорости ходьбы без поводка Деменцию у собак оценили по скорости ходьбы без поводка

Скорость ходьбы собаки без поводка может служить показателем ее деменции

N+1
Как селфи влияют на нашу самооценку и что с этим делать Как селфи влияют на нашу самооценку и что с этим делать

Какое именно влияние неоднозначная практика селфи оказывает на людей

VOICE
«Эти дни» на Уимблдоне: как теннисистки отстояли право не носить белое белье «Эти дни» на Уимблдоне: как теннисистки отстояли право не носить белое белье

Теннисистки несколько раз поднимали одну из самых табуированных тем в обществе

Forbes
Почему не сохранились древние памятники славянской культуры Почему не сохранились древние памятники славянской культуры

Почему древние восточные славяне не оставили после себя артефактов и преданий

Maxim
«Обжигающе горячий»: как чипсы Cheetos навсегда изменили жизнь Ричарда Монтаньеса «Обжигающе горячий»: как чипсы Cheetos навсегда изменили жизнь Ричарда Монтаньеса

Фильм о мексиканце, который завязал с криминалом и устроился на фабрику чипсов

Forbes
Тревога во время беременности: какой она бывает Тревога во время беременности: какой она бывает

Глава из книги «Хорея» Марины Кочан

Psychologies
«Сумеречный сон»: как появился и почему исчез метод безболезненных родов, популярный в начале XX века «Сумеречный сон»: как появился и почему исчез метод безболезненных родов, популярный в начале XX века

В начале XX века газеты начали писать, что родить без боли возможно…

VOICE
Мелирование: подбор цвета, противопоказания и советы экспертов Мелирование: подбор цвета, противопоказания и советы экспертов

Какие техники относятся к мелированию и как выбрать подходящую?

РБК
3 самых распространенных мифа об одиночестве, про которые пора забыть 3 самых распространенных мифа об одиночестве, про которые пора забыть

Что мы думаем об одиночестве?

Psychologies
Открыть в приложении