Неинвазивный декодер восстановил текст из корковых семантических представлений

N+1Наука

Непрерывную речь декодировали по фМРТ

Неинвазивный декодер восстановил текст из корковых семантических представлений

Катерина Петрова

6b999b71c3a31e9d965057913513241b.jpeg
Jerry Tang et al. / Nature Neuroscience, 2023; N + 1

Американские исследователи разработали неинвазивный декодер, который по активности мозга может реконструировать непрерывный текст — будь то история, которую человек слушает, или воображаемый рассказ, или даже суть видеоролика, в котором нет слов. Декодер обучали на данных фМРТ трех человек, которые 16 часов слушали истории. Модель не всегда могла предсказать точные слова по записям фМРТ, но передавала смысл историй. Результаты опубликованы в Nature Neuroscience.

Чтобы записать нейронную активность, необходимую для декодирования речи, нужно установить электроды прямо на мозг. Этот способ используют в исследованиях с парализованными людьми, которые не могут говорить, но инвазивность такой процедуры ограничивает ее применение. Декодеры, использующие неинвазивные записи активности мозга, способны расшифровывать отдельные слова или короткие фразы, но неизвестно, могут ли эти декодеры работать с непрерывным естественным языком.

Александр Хаc (Alexander Huth) из Техасского университета в Остине и его коллеги разработали декодер, который восстанавливает непрерывный текст из записей активности мозга, полученных неинвазивным способом — с помощью функциональной магнитно-резонансной томографии.

Серьезным ограничением было то, что сигнал фМРТ не успевает за нейронной активностью. Функциональная магнитно-резонансная томография измеряет изменения кровотока, вызванные нейронной активностью в той или иной части мозга. Чтобы сигнал фМРТ увеличился или снизился, требуется около 10 секунд. За это время англоговорящий человек может услышать или произнести более 20 слов. Выходит, что слов для декодирования больше, чем изображений фМРТ. Ученые решили это проблему так: научили декодер угадывать последовательность слов, оценивая, насколько вероятно каждое возможное слово могло вызвать конкретную записанную реакцию мозга, — и так выбирать лучшего кандидата, то есть самое вероятное слово.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Инженеры научились бесконтактно тыкать в сенсорный экран Инженеры научились бесконтактно тыкать в сенсорный экран

GhostTouch, который позволяет бесконтактно управлять сенсорными экранами

N+1
Лесной «подземный интернет» приносит не только пользу, но и вред деревьям Лесной «подземный интернет» приносит не только пользу, но и вред деревьям

Почему «гипотеза материнского дерева» поставлена под сомнение

ТехИнсайдер
Отказ от «механики» и личное шоссе. Тина Тёрнер и любовь к машинам Отказ от «механики» и личное шоссе. Тина Тёрнер и любовь к машинам

Главные факты «автомобильной» биографии артистки Тины Тёрнер

РБК
Почему мы выбираем не тех партнеров: 5 причин неудачных отношений — избегайте прошлых ошибок Почему мы выбираем не тех партнеров: 5 причин неудачных отношений — избегайте прошлых ошибок

Препятствия, которые мешают найти подходящего человека

Psychologies
Дружба с интровертом: на что стоит обратить внимание — 8 принципов Дружба с интровертом: на что стоит обратить внимание — 8 принципов

Чтобы наладить близкое общение с интровертом, достаточно знать несколько фактов

Psychologies
Живые помощники: какие насекомые полезны для сада и как их можно привлечь? Живые помощники: какие насекомые полезны для сада и как их можно привлечь?

Порой настоящие герои не носят плащи — чтобы они не мешали их крыльям!

ТехИнсайдер
Как прожить свой страх осознанно: книги и фильмы от психолога Как прожить свой страх осознанно: книги и фильмы от психолога

Что значит «экологично побояться» и для чего это нужно?

Psychologies
Археологи обнаружили в Омане уникальную массовую гробницу 7000-летней давности Археологи обнаружили в Омане уникальную массовую гробницу 7000-летней давности

Группа археологов обнаружила гробницу времен неолита

ТехИнсайдер
Секрет скорости: как гепарду удается бегать так быстро? Секрет скорости: как гепарду удается бегать так быстро?

Как гепарду удается развивать скорость свыше 100 км/ч?

ТехИнсайдер
Правила жизни Александра Абдулова Правила жизни Александра Абдулова

Правила жизни актера, режиссера и народного артиста Александра Абдулова

Правила жизни
Изменить жизнь, отказавшись от сахара Изменить жизнь, отказавшись от сахара

К чему может привести отказ от сахара? Рассказывают наши героини

Здоровье
«Все страхи Бо»: как видит мир тревожный человек, воспитанный нарциссической матерью «Все страхи Бо»: как видит мир тревожный человек, воспитанный нарциссической матерью

Добро пожаловать в мир Бо!

Psychologies
Правила жизни Тины Тернер Правила жизни Тины Тернер

Правила жизни королевы рок-н-ролла Тины Тернер

Правила жизни
Защитный барьер организма Защитный барьер организма

Надо повышать иммунитет. Но медики поспорили бы с такой формулировкой

Лиза
Четыре сыра Четыре сыра

Как сменить город на деревню и стать сыроваром

Вокруг света
Рак, разводы и изнасилования: страшные судьбы актрис из сериала Рак, разводы и изнасилования: страшные судьбы актрис из сериала

Как сложились жизни актрис из "Зачарованных", и как они выглядят сейчас?

VOICE
Волки, зараженные этим паразитом, многократно повышают свои шансы стать вожаками стаи Волки, зараженные этим паразитом, многократно повышают свои шансы стать вожаками стаи

Заражение паразитом повышает вероятность того, что волки станут вожаками

ТехИнсайдер
Розацеа: как справиться с заболеванием и вернуть красоту Розацеа: как справиться с заболеванием и вернуть красоту

Имеются ли способы эффективной борьбы с розацеа?

Psychologies
Жизнь от кутюр: как Валентин Юдашкин стал главным модельером России Жизнь от кутюр: как Валентин Юдашкин стал главным модельером России

Какую роль сыграл Валентин Юдашкин в советско-российской моде

Forbes
Как лучше худеть — быстро или медленно? Эксперты все объяснили! Как лучше худеть — быстро или медленно? Эксперты все объяснили!

У специалистов есть объяснение, почему спешить с похудением не нужно

ТехИнсайдер
От чистого сердца? От чистого сердца?

Истории, в которых за добрыми поступками явно прослеживается другой мотив

Лиза
Зачем на самом деле была построена Великая Китайская стена? Зачем на самом деле была построена Великая Китайская стена?

Интересная и загадочная история Великой Китайской стены

Maxim
Ленинский враг с нелестной репутацией Ленинский враг с нелестной репутацией

Мало кто так хорошо понимал ленинскую доктрину и практику, как Алексинский

Дилетант
Робость и любовь к людям: в этом секрет успеха пауков Джоро Робость и любовь к людям: в этом секрет успеха пауков Джоро

Паук Джоро может быть самым робким пауком из когда-либо описанных учеными

ТехИнсайдер
Маргарита Ронжина: «Одиночка». Дебютный роман о послеродовой депрессии Маргарита Ронжина: «Одиночка». Дебютный роман о послеродовой депрессии

Отрывок из сложного романа о том, как мать-одиночка пытается научиться жить

СНОБ
Странные факты о саке, которое вовсе не водка Странные факты о саке, которое вовсе не водка

Саке премиального качества появилось только во второй половине XX века

Maxim
Полезная растяжка. 6 упражнений для эффективной тренировки и советы эксперта Полезная растяжка. 6 упражнений для эффективной тренировки и советы эксперта

Хочешь обрести красивые формы и поддерживать здоровье, прилагая минимум усилий?

Лиза
Пять китайских автомобилей, за которые брендам теперь стыдно. Список Пять китайских автомобилей, за которые брендам теперь стыдно. Список

Как изменились китайские автомобили с момента прихода в Россию

РБК
Возраст олдувайских артефактов из Алжира оценили примерно в 1,77 миллиона лет Возраст олдувайских артефактов из Алжира оценили примерно в 1,77 миллиона лет

Ученые датировали находки из памятника Айн-Ханех

N+1
Что символизируют животные в русских сказках? Что символизируют животные в русских сказках?

Сказки о животных считаются самым древним видом народных сказок

Культура.РФ
Открыть в приложении