Неинвазивный декодер восстановил текст из корковых семантических представлений

N+1Наука

Непрерывную речь декодировали по фМРТ

Неинвазивный декодер восстановил текст из корковых семантических представлений

Катерина Петрова

6b999b71c3a31e9d965057913513241b.jpeg
Jerry Tang et al. / Nature Neuroscience, 2023; N + 1

Американские исследователи разработали неинвазивный декодер, который по активности мозга может реконструировать непрерывный текст — будь то история, которую человек слушает, или воображаемый рассказ, или даже суть видеоролика, в котором нет слов. Декодер обучали на данных фМРТ трех человек, которые 16 часов слушали истории. Модель не всегда могла предсказать точные слова по записям фМРТ, но передавала смысл историй. Результаты опубликованы в Nature Neuroscience.

Чтобы записать нейронную активность, необходимую для декодирования речи, нужно установить электроды прямо на мозг. Этот способ используют в исследованиях с парализованными людьми, которые не могут говорить, но инвазивность такой процедуры ограничивает ее применение. Декодеры, использующие неинвазивные записи активности мозга, способны расшифровывать отдельные слова или короткие фразы, но неизвестно, могут ли эти декодеры работать с непрерывным естественным языком.

Александр Хаc (Alexander Huth) из Техасского университета в Остине и его коллеги разработали декодер, который восстанавливает непрерывный текст из записей активности мозга, полученных неинвазивным способом — с помощью функциональной магнитно-резонансной томографии.

Серьезным ограничением было то, что сигнал фМРТ не успевает за нейронной активностью. Функциональная магнитно-резонансная томография измеряет изменения кровотока, вызванные нейронной активностью в той или иной части мозга. Чтобы сигнал фМРТ увеличился или снизился, требуется около 10 секунд. За это время англоговорящий человек может услышать или произнести более 20 слов. Выходит, что слов для декодирования больше, чем изображений фМРТ. Ученые решили это проблему так: научили декодер угадывать последовательность слов, оценивая, насколько вероятно каждое возможное слово могло вызвать конкретную записанную реакцию мозга, — и так выбирать лучшего кандидата, то есть самое вероятное слово.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

9 абсурдных мифов о человеческом теле, в которые люди продолжают верить несмотря на факты 9 абсурдных мифов о человеческом теле, в которые люди продолжают верить несмотря на факты

Сказки о нашем теле, в которые мы верим

ТехИнсайдер
Письменная принадлежность: как предприимчивый француз обеспечил мир шариковыми ручками Письменная принадлежность: как предприимчивый француз обеспечил мир шариковыми ручками

Как Марсель Бик дал жизнь одному из символов потребительской революции XX века

Вокруг света
Соблазняем одним словом: как сделать свой голос привлекательным? Соблазняем одним словом: как сделать свой голос привлекательным?

Что такое привлекательный голос и как сделать свой голос лучше?

VOICE
Эрнст Тельман: списан в архив Эрнст Тельман: списан в архив

История немецкого коммуниста Эрнста Тельмана

Дилетант
Глобальное потепление сказалось даже на рыбах! Узнайте как они изменились Глобальное потепление сказалось даже на рыбах! Узнайте как они изменились

Вот что нужно знать о влиянии климатического кризиса на размеры рыб

ТехИнсайдер
Одержимость или влюбленность: как различить эти чувства Одержимость или влюбленность: как различить эти чувства

Как найти баланс в отношениях и не присваивать себе жизнь партнера?

Psychologies
Что делать, если ужалила пчела: 5 способов вылечить укус Что делать, если ужалила пчела: 5 способов вылечить укус

Как правильно достать жало пчелы из раны и обезболить укус

ТехИнсайдер
Изящная сирень Изящная сирень

Как ухаживать за сиренью?

Лиза
Осторожно: ультраобработано! Осторожно: ультраобработано!

Почему не стоит увлекаться полуфабрикатами

Здоровье
Варвара Помидор Варвара Помидор

Варвара Помидор сочетает уникальное чувство цвета и умение работать со стилями

Правила жизни
10 секретов нейл-мастеров, которые сделают домашний педикюр намного проще 10 секретов нейл-мастеров, которые сделают домашний педикюр намного проще

Советы, которые превратят процедуру домашнего педикюра в сплошное удовольствие!

VOICE
Максим Матвеев: «Когда у меня появляется цель, мне абсолютно по барабану, как другие к этому отнесутся» Максим Матвеев: «Когда у меня появляется цель, мне абсолютно по барабану, как другие к этому отнесутся»

Максим Матвеев про правила счастья, смысл профессии и постельные сцены

Maxim
Генералы песчаных карьеров Генералы песчаных карьеров

Шагающие экскаваторы, или драглайны, – самые большие мобильные наземные машины

ТехИнсайдер
Почему мужчине легче похудеть, чем женщине? Дело в гормонах, и вот как они мешают сбросить вес Почему мужчине легче похудеть, чем женщине? Дело в гормонах, и вот как они мешают сбросить вес

Ученые провели эксперимент и узнали, почему мужчины худеют быстрее женщин

Вокруг света
Геннадий Сайфулин: «На позорном собрании против Эфроса я единственный выступил в его защиту» Геннадий Сайфулин: «На позорном собрании против Эфроса я единственный выступил в его защиту»

Геннадий Сайфулин — один из культовых актеров поколения шестидесятых

Коллекция. Караван историй
Приложение усилий: что происходит на рынке мобильной разработки в России Приложение усилий: что происходит на рынке мобильной разработки в России

Тренды на рынке мобильной разработки: на что нужно обратить внимание заказчикам

Forbes
«Я всегда знала, что нельзя размениваться. И лучше быть одной, чем с тем, кого ты не любишь», — говорила Инна Макарова «Я всегда знала, что нельзя размениваться. И лучше быть одной, чем с тем, кого ты не любишь», — говорила Инна Макарова

Анжелика Пахомова рассказала о том, какой была актриса Инна Макарова

Коллекция. Караван историй
Пять китайских автомобилей, за которые брендам теперь стыдно. Список Пять китайских автомобилей, за которые брендам теперь стыдно. Список

Как изменились китайские автомобили с момента прихода в Россию

РБК
Закон Парето, или правило 80/20: как достигать большего при минимальных усилиях Закон Парето, или правило 80/20: как достигать большего при минимальных усилиях

Как работает принцип Парето на практике и почему усердие не всегда окупается?

Forbes
При чем здесь вода? Как лишь одна стихия определила политику и верования древних царств При чем здесь вода? Как лишь одна стихия определила политику и верования древних царств

Неожиданный взгляд на отношения человечества с водой

Вокруг света
На таких пахать надо На таких пахать надо

Как в 1950-х молодежь ездила пахать и сеять в степях Казахстана

Автопилот
Связь не без границ: как операторы компенсируют свои затраты за счет абонентов Связь не без границ: как операторы компенсируют свои затраты за счет абонентов

Участники рынка мобильной связи перекладывают часть затрат на абонентов

Forbes
Инженеры научили робомедузу переносить предметы Инженеры научили робомедузу переносить предметы

Инженеры разработали робомедузу с актуаторами на жидком диэлектрике

N+1
Медленно, но верно Медленно, но верно

Как определить, что ты слишком усердно занимаешься фитнесом

Лиза
Подружки Милагрос и девушки Иво: как изменились второстепенные актеры сериала Подружки Милагрос и девушки Иво: как изменились второстепенные актеры сериала

Что стало с актерами сериала "Дикий ангел"?

VOICE
Сканеры отпечатков пальцев на 10 смартфонах удалось взломать методом перебора Сканеры отпечатков пальцев на 10 смартфонах удалось взломать методом перебора

Ученые нашли уязвимости в смартфонах шести крупных компаний

N+1
Как русские авангардисты представляли будущее — в иллюстрациях от Midjourney Как русские авангардисты представляли будущее — в иллюстрациях от Midjourney

Авангардное будущее глазами нейросети

Правила жизни
PandaX не нашла электромагнитно взаимодействующую темную материю PandaX не нашла электромагнитно взаимодействующую темную материю

Для поиска темной материи физики упрятали четыре тонны жидкого ксенона под гору

N+1
Режиссер Александр Сокуров —  Forbes: «Режимное государство нуждается в гениях» Режиссер Александр Сокуров —  Forbes: «Режимное государство нуждается в гениях»

Какую задачу решают власти, устраивая массовые гонения на деятелей культуры?

Forbes
Мессенджер в голове: есть ли перспективы у «техно-телепатии» Мессенджер в голове: есть ли перспективы у «техно-телепатии»

Как людям обмениваться мыслями, не став жертвами унификации

VC.RU
Открыть в приложении