Неинвазивный декодер восстановил текст из корковых семантических представлений

N+1Наука

Непрерывную речь декодировали по фМРТ

Неинвазивный декодер восстановил текст из корковых семантических представлений

Катерина Петрова

6b999b71c3a31e9d965057913513241b.jpeg
Jerry Tang et al. / Nature Neuroscience, 2023; N + 1

Американские исследователи разработали неинвазивный декодер, который по активности мозга может реконструировать непрерывный текст — будь то история, которую человек слушает, или воображаемый рассказ, или даже суть видеоролика, в котором нет слов. Декодер обучали на данных фМРТ трех человек, которые 16 часов слушали истории. Модель не всегда могла предсказать точные слова по записям фМРТ, но передавала смысл историй. Результаты опубликованы в Nature Neuroscience.

Чтобы записать нейронную активность, необходимую для декодирования речи, нужно установить электроды прямо на мозг. Этот способ используют в исследованиях с парализованными людьми, которые не могут говорить, но инвазивность такой процедуры ограничивает ее применение. Декодеры, использующие неинвазивные записи активности мозга, способны расшифровывать отдельные слова или короткие фразы, но неизвестно, могут ли эти декодеры работать с непрерывным естественным языком.

Александр Хаc (Alexander Huth) из Техасского университета в Остине и его коллеги разработали декодер, который восстанавливает непрерывный текст из записей активности мозга, полученных неинвазивным способом — с помощью функциональной магнитно-резонансной томографии.

Серьезным ограничением было то, что сигнал фМРТ не успевает за нейронной активностью. Функциональная магнитно-резонансная томография измеряет изменения кровотока, вызванные нейронной активностью в той или иной части мозга. Чтобы сигнал фМРТ увеличился или снизился, требуется около 10 секунд. За это время англоговорящий человек может услышать или произнести более 20 слов. Выходит, что слов для декодирования больше, чем изображений фМРТ. Ученые решили это проблему так: научили декодер угадывать последовательность слов, оценивая, насколько вероятно каждое возможное слово могло вызвать конкретную записанную реакцию мозга, — и так выбирать лучшего кандидата, то есть самое вероятное слово.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Инженеры научились бесконтактно тыкать в сенсорный экран Инженеры научились бесконтактно тыкать в сенсорный экран

GhostTouch, который позволяет бесконтактно управлять сенсорными экранами

N+1
70% россиян готовы к искусственному оплодотворению: результаты опроса о репродуктивном здоровье 70% россиян готовы к искусственному оплодотворению: результаты опроса о репродуктивном здоровье

Что россияне знают о репродуктивном здоровье?

Psychologies
Надо было просто умножить на 20: как ученые разгадали секрет «космического» календаря майя Надо было просто умножить на 20: как ученые разгадали секрет «космического» календаря майя

Ученые увидели, что древний календарь майя отражает синодические периоды планет

Вокруг света
Есть ли жизнь после Tinder: 7 аналогичных приложений для знакомств Есть ли жизнь после Tinder: 7 аналогичных приложений для знакомств

Почему приложения для знакомств стали столь значимой частью нашей жизни

Psychologies
10 странных фактов о теле человека, которые мало кто знает 10 странных фактов о теле человека, которые мало кто знает

Человек светится в темноте, производит алкоголь и несет килограммы бактерий

Maxim
Красавицы 90-х: куда пропали девушки Бонда, которых ты успела забыть Красавицы 90-х: куда пропали девушки Бонда, которых ты успела забыть

Роль возлюбленной главного шпиона мира еще не дает гарантию вечной славы

VOICE
Лидия Юкнавич: «Потрясение». Из моря в небо и обратно Лидия Юкнавич: «Потрясение». Из моря в небо и обратно

Отрывок из впечатляющего и возмущающего романа Лидии Юкнавич «Потрясение»

СНОБ
Где берут энергию бактерии подледных озер Антарктиды Где берут энергию бактерии подледных озер Антарктиды

Как в условиях Антарктиды работает углеродный цикл?

ТехИнсайдер
PandaX не нашла электромагнитно взаимодействующую темную материю PandaX не нашла электромагнитно взаимодействующую темную материю

Для поиска темной материи физики упрятали четыре тонны жидкого ксенона под гору

N+1
Британские ученые выяснили: по каким формулам изучать искусство Ренессанса Британские ученые выяснили: по каким формулам изучать искусство Ренессанса

Издательство Ad Marginem выпускают коллекцию книг, посвященных искусству

Forbes
Как наладить аллергический фон: какие продукты исключить, а какие — добавить Как наладить аллергический фон: какие продукты исключить, а какие — добавить

Как ослабить симптомы аллергии, а то и вовсе свести на нет?

Psychologies
Сбой в матрице: эти современные звезды являются точной копией икон старого Голливуда – и как мы не замечали! Сбой в матрице: эти современные звезды являются точной копией икон старого Голливуда – и как мы не замечали!

Некоторые звезды выглядят словно близнецы знаменитостей из прошлого!

VOICE
Почему сейчас кино Ингмара Бергмана может быть нам близко, как никогда раньше Почему сейчас кино Ингмара Бергмана может быть нам близко, как никогда раньше

Почему не нужно бояться фильмов Ингмара Бергмана?

Правила жизни
Кому и зачем нужны топливные присадки? Кому и зачем нужны топливные присадки?

Правда ли то, что топливные присадки вредят автомобилям?

4x4 Club
Если женщина зарабатывает больше: 5 проблем в паре Если женщина зарабатывает больше: 5 проблем в паре

Когда женщина зарабатывает больше, это не проходит бесследно для отношений

Psychologies
Как одеваться мужчине, чтобы скрыть живот: пять ключевых правил Как одеваться мужчине, чтобы скрыть живот: пять ключевых правил

Как одеваться, чтобы живот стал харизматичным элементом имиджа

Maxim
Добро с прибылью: чем импакт-стартапы отличаются от НКО и обычного бизнеса Добро с прибылью: чем импакт-стартапы отличаются от НКО и обычного бизнеса

Что такое социальные, или импакт-стартапы, какие у них есть перспективы

Forbes
Народные волнения: что такое геомагнитные бури и как они влияют на нашу жизнь Народные волнения: что такое геомагнитные бури и как они влияют на нашу жизнь

Чем они опасны и как геомагнитные поля влияют на человека

Forbes
От «Вестника парижских мод» до «Работницы»: женская пресса в дореволюционной России От «Вестника парижских мод» до «Работницы»: женская пресса в дореволюционной России

Forbes Woman рассказывает об эволюции женских СМИ в России

Forbes
Миссионер, исследователь и борец с работорговлей: как Давид Ливингстон открыл миру внутреннюю Африку Миссионер, исследователь и борец с работорговлей: как Давид Ливингстон открыл миру внутреннюю Африку

Давид Ливингстон был бродячим проповедником и нес африканцам весть христианства

Вокруг света
Астрономы наконец выяснили, что скрывается внутри Луны Астрономы наконец выяснили, что скрывается внутри Луны

Внутреннее ядро Луны на самом деле представляет собой твердый шар

ТехИнсайдер
Осознать себя Осознать себя

Как сохранить у ребенка активный интерес к жизни и при этом не выгореть самому?

СНОБ
Радиошум земных вышек мобильной связи оказался недоступен для обнаружения с ближайших звезд Радиошум земных вышек мобильной связи оказался недоступен для обнаружения с ближайших звезд

Утечка излучения от вышек мобильной связи на Земле не может быть обнаружена

N+1
Мыши забыли о страшном опыте при помощи нейронных связей между гиппокампом и миндалиной Мыши забыли о страшном опыте при помощи нейронных связей между гиппокампом и миндалиной

Ученые перезаписали страшные воспоминания у мышей

N+1
Роман Мурадов Роман Мурадов

Роман Мурадов сочетает оригинальную рисовку с литературностью

Правила жизни
Выходные в другом городе: что посмотреть в Туле и ее окрестностях за два дня Выходные в другом городе: что посмотреть в Туле и ее окрестностях за два дня

Думаете, Тула — это самовары, пряники и атмосфера сонного уездного городка?

Правила жизни
«Как сказать мужчине, чего мне хочется?»: 3 совета сексолога «Как сказать мужчине, чего мне хочется?»: 3 совета сексолога

Как откровенно разговаривать со своим партнером?

Psychologies
Человек, улетевший в космос из своей комнаты: что рассказал миру Илья Кабаков Человек, улетевший в космос из своей комнаты: что рассказал миру Илья Кабаков

Илья Кабаков — самый известный и успешный российский современный художник

Forbes
Рак, разводы и изнасилования: страшные судьбы актрис из сериала Рак, разводы и изнасилования: страшные судьбы актрис из сериала

Как сложились жизни актрис из "Зачарованных", и как они выглядят сейчас?

VOICE
Не весь зуд из-за плохой гигены! Вот почему хочется чесаться Не весь зуд из-за плохой гигены! Вот почему хочется чесаться

Существует ли беспричинный зуд?

ТехИнсайдер
Открыть в приложении