Неинвазивный декодер восстановил текст из корковых семантических представлений

N+1Наука

Непрерывную речь декодировали по фМРТ

Неинвазивный декодер восстановил текст из корковых семантических представлений

Катерина Петрова

6b999b71c3a31e9d965057913513241b.jpeg
Jerry Tang et al. / Nature Neuroscience, 2023; N + 1

Американские исследователи разработали неинвазивный декодер, который по активности мозга может реконструировать непрерывный текст — будь то история, которую человек слушает, или воображаемый рассказ, или даже суть видеоролика, в котором нет слов. Декодер обучали на данных фМРТ трех человек, которые 16 часов слушали истории. Модель не всегда могла предсказать точные слова по записям фМРТ, но передавала смысл историй. Результаты опубликованы в Nature Neuroscience.

Чтобы записать нейронную активность, необходимую для декодирования речи, нужно установить электроды прямо на мозг. Этот способ используют в исследованиях с парализованными людьми, которые не могут говорить, но инвазивность такой процедуры ограничивает ее применение. Декодеры, использующие неинвазивные записи активности мозга, способны расшифровывать отдельные слова или короткие фразы, но неизвестно, могут ли эти декодеры работать с непрерывным естественным языком.

Александр Хаc (Alexander Huth) из Техасского университета в Остине и его коллеги разработали декодер, который восстанавливает непрерывный текст из записей активности мозга, полученных неинвазивным способом — с помощью функциональной магнитно-резонансной томографии.

Серьезным ограничением было то, что сигнал фМРТ не успевает за нейронной активностью. Функциональная магнитно-резонансная томография измеряет изменения кровотока, вызванные нейронной активностью в той или иной части мозга. Чтобы сигнал фМРТ увеличился или снизился, требуется около 10 секунд. За это время англоговорящий человек может услышать или произнести более 20 слов. Выходит, что слов для декодирования больше, чем изображений фМРТ. Ученые решили это проблему так: научили декодер угадывать последовательность слов, оценивая, насколько вероятно каждое возможное слово могло вызвать конкретную записанную реакцию мозга, — и так выбирать лучшего кандидата, то есть самое вероятное слово.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

6 золотых правил нестареющих женщин: запомни их как мантру! 6 золотых правил нестареющих женщин: запомни их как мантру!

Простейшие привычки, которые помогут отсрочить старение на десятки лет

VOICE
Миссия: металл Миссия: металл

Зонд Psyche должен будет осмотреть целиком металлический мир

ТехИнсайдер
Виды на балкон Виды на балкон

Зелень и овощи лучше выращивать на дачных грядках, но вполне подойдет и балкон

Лиза
Шестерка — туз Шестерка — туз

Antwerp Six: изменение моды путем коллективного усилия молодых людей

Weekend
Мама, я создал! Ученые построили машину из Lego, чтобы выращивать человеческую кожу Мама, я создал! Ученые построили машину из Lego, чтобы выращивать человеческую кожу

Изобретение из Lego в десятки раз дешевле, чем современные биопринтеры

Вокруг света
Чайки скопировали выбор пачки чипсов у человека Чайки скопировали выбор пачки чипсов у человека

Редкий пример межвидового социального обучения

N+1
Топ-6 нейросетей, которые умеют писать тексты Топ-6 нейросетей, которые умеют писать тексты

Рассказываем о лучших нейросетях, с помощью которых можно написать текст

CHIP
Опасное время: главный онколог России предупредил о начале периода, провоцирующего развитие самого агрессивного рака Опасное время: главный онколог России предупредил о начале периода, провоцирующего развитие самого агрессивного рака

Злоупотребление ультрафиолетовым излучением таит в себе опасности

VOICE
Не имей сто рублей, а имей сто друзей и будь здоров: 7 причин, почему дружба так важна Не имей сто рублей, а имей сто друзей и будь здоров: 7 причин, почему дружба так важна

Зачем вообще нужны друзья?

ТехИнсайдер
Под старину. Внедорожный проект Hyperion Под старину. Внедорожный проект Hyperion

Образ довоенной советской «эмки», стиль американских хот-родов и внедорожник

4x4 Club
Острые психические расстройства: каковы факторы риска Острые психические расстройства: каковы факторы риска

Обстоятельства, которые могут увеличить вероятность психических заболеваний

Psychologies
«Как закалялась сталь» Николая Островского: трагическая история одного писателя и пациента «Как закалялась сталь» Николая Островского: трагическая история одного писателя и пациента

Как слепой и парализованный Николай Островский написал первую часть романа

ТехИнсайдер
Палки в колеса Палки в колеса

Истории из жизни мастера спорта по маунтинбайку Ивана Кунаева

Men Today
Загуглили! Google Earth помог обнаружить секретные военные лагеря Древнего Рима Загуглили! Google Earth помог обнаружить секретные военные лагеря Древнего Рима

Спомощью спутниковых снимков Google Earth найдены три древнеримских лагеря

ТехИнсайдер
Как домашние черепахи захватили мир Как домашние черепахи захватили мир

Почему экологи стараются остановить распространение красноухой черепахи?

Наука и жизнь
Что для вас значит еда? Что для вас значит еда?

За дверью холодильника скрываются не только продукты! Она открывает наши тайны

Psychologies
Как перестать опаздывать? Как перестать опаздывать?

«Синдром опаздывания»: почему он возникает и что с этим делать?

Psychologies
Вылетаем сегодня! Почему мы совершаем незапланированные поездки? Объясняют ученые Вылетаем сегодня! Почему мы совершаем незапланированные поездки? Объясняют ученые

Социологи рассказали, как влияют на нас спонтанные траты

Вокруг света
Одна вокруг света: как Ирина Сидоренко и собака Грета объехали весь мир за шесть лет Одна вокруг света: как Ирина Сидоренко и собака Грета объехали весь мир за шесть лет

219-я серия о кругосветном путешествии Ирины Сидоренко: возвращение в Россию

Forbes
Миллионеры Юрского периода Миллионеры Юрского периода

Сколько стоят динозавры?

Деньги
Лидия Юкнавич: «Потрясение». Из моря в небо и обратно Лидия Юкнавич: «Потрясение». Из моря в небо и обратно

Отрывок из впечатляющего и возмущающего романа Лидии Юкнавич «Потрясение»

СНОБ
Пастораль Пастораль

Как живут сойоты, потомки древнейшего самодийского народа Восточных Саян

Вокруг света
7 изматывающих и бессмысленных привычек, которые есть почти у каждого 7 изматывающих и бессмысленных привычек, которые есть почти у каждого

Семь вредных привычек, которые могут высасывать из вас энергию

Maxim
Археологи обнаружили в Омане уникальную массовую гробницу 7000-летней давности Археологи обнаружили в Омане уникальную массовую гробницу 7000-летней давности

Группа археологов обнаружила гробницу времен неолита

ТехИнсайдер
Связанные одной цепью Связанные одной цепью

Большинство людей, которые курят, уверены, что это помогает им не толстеть

Здоровье
«Убийцы цветочной луны»: Мартин Скорсезе на стороне индейцев и против капитализма «Убийцы цветочной луны»: Мартин Скорсезе на стороне индейцев и против капитализма

Мастер смешивает в истории индейцев вестерн, детектив, триллер и романтику

Forbes
«Муж дал мне по голове»: беременная Милена Дейнега перенесла 9 секунд клинической смерти «Муж дал мне по голове»: беременная Милена Дейнега перенесла 9 секунд клинической смерти

Милена Дейнега призналась, что едва не погибла после семейного скандала

VOICE
ТОП-5 многолетников ТОП-5 многолетников

С этими красивыми и неприхотливыми цветами сразу заиграет любой участок

Лиза
Начать питаться осознанно Начать питаться осознанно

Как использовать приложения для тренировки сознательного пищевого поведения

Psychologies
Поддерживать, но не потакать: как помочь близкому, страдающему зависимостью Поддерживать, но не потакать: как помочь близкому, страдающему зависимостью

Важно четко осознать разницу между поддержкой зависимого человека и потаканием

Psychologies
Открыть в приложении