Неинвазивный декодер восстановил текст из корковых семантических представлений

N+1Наука

Непрерывную речь декодировали по фМРТ

Неинвазивный декодер восстановил текст из корковых семантических представлений

Катерина Петрова

6b999b71c3a31e9d965057913513241b.jpeg
Jerry Tang et al. / Nature Neuroscience, 2023; N + 1

Американские исследователи разработали неинвазивный декодер, который по активности мозга может реконструировать непрерывный текст — будь то история, которую человек слушает, или воображаемый рассказ, или даже суть видеоролика, в котором нет слов. Декодер обучали на данных фМРТ трех человек, которые 16 часов слушали истории. Модель не всегда могла предсказать точные слова по записям фМРТ, но передавала смысл историй. Результаты опубликованы в Nature Neuroscience.

Чтобы записать нейронную активность, необходимую для декодирования речи, нужно установить электроды прямо на мозг. Этот способ используют в исследованиях с парализованными людьми, которые не могут говорить, но инвазивность такой процедуры ограничивает ее применение. Декодеры, использующие неинвазивные записи активности мозга, способны расшифровывать отдельные слова или короткие фразы, но неизвестно, могут ли эти декодеры работать с непрерывным естественным языком.

Александр Хаc (Alexander Huth) из Техасского университета в Остине и его коллеги разработали декодер, который восстанавливает непрерывный текст из записей активности мозга, полученных неинвазивным способом — с помощью функциональной магнитно-резонансной томографии.

Серьезным ограничением было то, что сигнал фМРТ не успевает за нейронной активностью. Функциональная магнитно-резонансная томография измеряет изменения кровотока, вызванные нейронной активностью в той или иной части мозга. Чтобы сигнал фМРТ увеличился или снизился, требуется около 10 секунд. За это время англоговорящий человек может услышать или произнести более 20 слов. Выходит, что слов для декодирования больше, чем изображений фМРТ. Ученые решили это проблему так: научили декодер угадывать последовательность слов, оценивая, насколько вероятно каждое возможное слово могло вызвать конкретную записанную реакцию мозга, — и так выбирать лучшего кандидата, то есть самое вероятное слово.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Скажите Скажите

Такая странная и необычная буква "ы"

ТехИнсайдер
5 ситуаций, когда менять работу — плохая идея 5 ситуаций, когда менять работу — плохая идея

Те самые случаи, когда стоит дать вашим отношениям с работой еще один шанс!

Maxim
Suzuki Vitara и пределы её проходимости Suzuki Vitara и пределы её проходимости

Suzuki Vitara качестве кроссовера хороша не только на асфальте

4x4 Club
Стройный рацион Стройный рацион

Продукты для похудения. Список, который пригодится на любой диете

Лиза
Вокруг Москвы: куда отправиться в путешествие одним днем Вокруг Москвы: куда отправиться в путешествие одним днем

Заброшенные усадьбы и храмы, пляжи и водопады — куда съездить из Москвы

РБК
Однажды маньяк из США держал 14-летнюю девочку 9 месяцев в плену! Но она простила маньяка Однажды маньяк из США держал 14-летнюю девочку 9 месяцев в плену! Но она простила маньяка

В 2013 году Нейт Кибби пригласил школьницу Эбби Эрнандес к себе в машину...

ТехИнсайдер
Эксперты назвали смартфоны, которые излучают сильнее всего Эксперты назвали смартфоны, которые излучают сильнее всего

Стоит ли опасаться своего смартфона?

ТехИнсайдер
Женщина написала книгу, горюя об усопшем муже. Полиция выяснила, что она же и убила его! Женщина написала книгу, горюя об усопшем муже. Полиция выяснила, что она же и убила его!

Коури Ричинс старательно играла скорбящую вдовы, будучи убийцей

ТехИнсайдер
Я у Папы — модельер: как итальянский органист начал одевать понтификов и представителей католического духовенства Я у Папы — модельер: как итальянский органист начал одевать понтификов и представителей католического духовенства

Восхищение убранством церкви определило жизненный путь Филиппо Сорчинелли

Вокруг света
Что символизируют животные в русских сказках? Что символизируют животные в русских сказках?

Сказки о животных считаются самым древним видом народных сказок

Культура.РФ
Эти кувшины купили на барахолке за 25 долларов и потом продали за 75 тысяч! Вот что в них особенного Эти кувшины купили на барахолке за 25 долларов и потом продали за 75 тысяч! Вот что в них особенного

Кувшины династии Цин XVIII века были найдены покупателем комиссионного магазина

ТехИнсайдер
Саар, так и не ставший французским Саар, так и не ставший французским

История борьбы Франции и Германии за Саар

Дилетант
Аккуратно, но стильно Аккуратно, но стильно

Мужчины с чувством юмора рассуждают о чувстве стиля их собратьев по полу

Men Today
На грани: как себя вести, если у близкого человека пограничное расстройство личности? На грани: как себя вести, если у близкого человека пограничное расстройство личности?

Что же делать, если у нашего родного ПРЛ, и как позаботиться о себе?

Psychologies
Цветок-канделябр Цветок-канделябр

Удивительные растения из семейства Кутровые

Наука и жизнь
«Грызня»: блестящий сериал о ненависти, мести и поисках настоящей жизни «Грызня»: блестящий сериал о ненависти, мести и поисках настоящей жизни

«Грызня» — комедийная драма о незнакомцах, решивших отравить жизнь друг другу

Forbes
Почему отпечатки наших пальцев уникальны Почему отпечатки наших пальцев уникальны

Откуда берутся рисунки на наших пальцах и что делает их такими уникальными

Maxim
Продавцам подобрали инструменты Продавцам подобрали инструменты

Как аналитические решения улучшают работу на маркетплейсах

Деньги
8 лайфхаков, которые улучшат память 8 лайфхаков, которые улучшат память

Что делать, если мы начинаем забывать и то, что нужно?

Psychologies
По правилам инстинкта: 7 стойких бойцов из мира животных По правилам инстинкта: 7 стойких бойцов из мира животных

Агрессия — обычное явление в животном царстве. И она не возникает просто так

Вокруг света
Какими качествами нужно обладать, чтобы научиться предсказаниям на картах Таро? Какими качествами нужно обладать, чтобы научиться предсказаниям на картах Таро?

Для того чтобы научиться делать расклады, нужен определенный дар. Так ли это?

VOICE
Эффект наращивания: 5 домашних способов отрастить длинные и крепкие ногти Эффект наращивания: 5 домашних способов отрастить длинные и крепкие ногти

Простые рецепты целебных масок для фантастического роста ногтей

VOICE
Зритель любит Тимоти: почему все без ума от Шаламе Зритель любит Тимоти: почему все без ума от Шаламе

Так ли прекрасен Тимоти Шаламе, как его пишут

Правила жизни
Как необычно и практично использовать влажные салфетки: 8 советов на каждый день Как необычно и практично использовать влажные салфетки: 8 советов на каждый день

У влажных салфеток гораздо больше полезных применений, чем очистка от грязи

ТехИнсайдер
Сезон шашлыков Сезон шашлыков

Какое мясо выбрать для мангала и как его замариновать?

Лиза
Возмущенные женщины исследуют мир: кто создал первый в истории клуб путешественниц Возмущенные женщины исследуют мир: кто создал первый в истории клуб путешественниц

Женщины, которые отправлялись на поиски приключений и боролись со стереотипами

Forbes
Мундиры голубые и зелёные Мундиры голубые и зелёные

Между жандармами и армейцами всегда была взаимная неприязнь

Дилетант
Александр Долгих. Не знаете какие шины выбрать? Я вам помогу Александр Долгих. Не знаете какие шины выбрать? Я вам помогу

Что учесть, выбирая шины для автомобиля?

4x4 Club
Древние цивилизации на Инде погубила 200-летняя засуха Древние цивилизации на Инде погубила 200-летняя засуха

Что разрушило цивилизацию бронзового века на реке Инд?

ТехИнсайдер
Антон Долотин Антон Долотин

Антон Долотин перечисляет плюсы и минусы развития дизайн-индустрии в стране

Собака.ru
Открыть в приложении