Неинвазивный декодер восстановил текст из корковых семантических представлений

N+1Наука

Непрерывную речь декодировали по фМРТ

Неинвазивный декодер восстановил текст из корковых семантических представлений

Катерина Петрова

6b999b71c3a31e9d965057913513241b.jpeg
Jerry Tang et al. / Nature Neuroscience, 2023; N + 1

Американские исследователи разработали неинвазивный декодер, который по активности мозга может реконструировать непрерывный текст — будь то история, которую человек слушает, или воображаемый рассказ, или даже суть видеоролика, в котором нет слов. Декодер обучали на данных фМРТ трех человек, которые 16 часов слушали истории. Модель не всегда могла предсказать точные слова по записям фМРТ, но передавала смысл историй. Результаты опубликованы в Nature Neuroscience.

Чтобы записать нейронную активность, необходимую для декодирования речи, нужно установить электроды прямо на мозг. Этот способ используют в исследованиях с парализованными людьми, которые не могут говорить, но инвазивность такой процедуры ограничивает ее применение. Декодеры, использующие неинвазивные записи активности мозга, способны расшифровывать отдельные слова или короткие фразы, но неизвестно, могут ли эти декодеры работать с непрерывным естественным языком.

Александр Хаc (Alexander Huth) из Техасского университета в Остине и его коллеги разработали декодер, который восстанавливает непрерывный текст из записей активности мозга, полученных неинвазивным способом — с помощью функциональной магнитно-резонансной томографии.

Серьезным ограничением было то, что сигнал фМРТ не успевает за нейронной активностью. Функциональная магнитно-резонансная томография измеряет изменения кровотока, вызванные нейронной активностью в той или иной части мозга. Чтобы сигнал фМРТ увеличился или снизился, требуется около 10 секунд. За это время англоговорящий человек может услышать или произнести более 20 слов. Выходит, что слов для декодирования больше, чем изображений фМРТ. Ученые решили это проблему так: научили декодер угадывать последовательность слов, оценивая, насколько вероятно каждое возможное слово могло вызвать конкретную записанную реакцию мозга, — и так выбирать лучшего кандидата, то есть самое вероятное слово.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как бизнесмен из Волжского создал сеть блинных по франшизе и вышел в Дубай Как бизнесмен из Волжского создал сеть блинных по франшизе и вышел в Дубай

Евгений Купко рассказывает, как ему пришла идея открыть блинную

Forbes
История Валентина Юдашкина и его жены Марины: быстрый брак и вечная любовь История Валентина Юдашкина и его жены Марины: быстрый брак и вечная любовь

История Валентина Юдашкина и его жены Марины: пример любви и верности

VOICE
От сына врага народа до звания «Красный Диор»: каким был путь Вячеслава Зайцева От сына врага народа до звания «Красный Диор»: каким был путь Вячеслава Зайцева

Вячеслав Зайцев: какой путь прошел кутюрье и как его имя вошло в историю

Forbes
Последняя ошибка первого синоптика: как появились регулярные прогнозы погоды Последняя ошибка первого синоптика: как появились регулярные прогнозы погоды

Старания «Генерала Шторма» во время Крымской войны сыграли роль в истории науки

Вокруг света
«Амбассадор слепых»: как незрячий программист стал путешественником и популярным блогером «Амбассадор слепых»: как незрячий программист стал путешественником и популярным блогером

Этого человека совсем не пугают «дизлайки за слепоту»

Вокруг света
Диабет 2 типа стремительно распространяется по миру — врачи винят в этом неправильное питание Диабет 2 типа стремительно распространяется по миру — врачи винят в этом неправильное питание

Как неправильное питание влияет на здоровье людей?

ТехИнсайдер
Кремль раскритиковал проект закона о праве регионов решать судьбу бездомных животных Кремль раскритиковал проект закона о праве регионов решать судьбу бездомных животных

ГПУ высказало критические замечания к законопроекту о бездомных животных

Forbes
С поля на собственную полку С поля на собственную полку

Зачем агропроизводителям нужна своя розница

Агроинвестор
Кризис старения: 7 способов принять неизбежное — найдите новый смысл Кризис старения: 7 способов принять неизбежное — найдите новый смысл

Как принять грядущий уход и найти цель, чтобы продолжать радоваться

Psychologies
Мозг современных собак больше, чем у древних пород. Но меньше, чем у волков Мозг современных собак больше, чем у древних пород. Но меньше, чем у волков

Как видоизменились собаки после одомашнивания?

ТехИнсайдер
В лицах латиноамериканцев разглядели наследие неандертальцев В лицах латиноамериканцев разглядели наследие неандертальцев

Новые данные проекта по поиску участков генома в когорте латиноамериканцев

N+1
Почему мужчине легче похудеть, чем женщине? Дело в гормонах, и вот как они мешают сбросить вес Почему мужчине легче похудеть, чем женщине? Дело в гормонах, и вот как они мешают сбросить вес

Ученые провели эксперимент и узнали, почему мужчины худеют быстрее женщин

Вокруг света
Анонимно сблизиться с сыном в сети, чтобы вернуть его любовь: чем оборачивается хитрость героини новой пьесы «Это все она» Анонимно сблизиться с сыном в сети, чтобы вернуть его любовь: чем оборачивается хитрость героини новой пьесы «Это все она»

Что толкает людей на виртуальные отношения?

Psychologies
3 досадные ошибки в домашнем уходе, которые необратимо меняют кожу: вердикт дерматолога 3 досадные ошибки в домашнем уходе, которые необратимо меняют кожу: вердикт дерматолога

В каких случаях домашние процедуры по уходу за лицом могут принести больше вреда

VOICE
Серебро для браслетов царицы Хетепхерес добыли на Кикладских островах Серебро для браслетов царицы Хетепхерес добыли на Кикладских островах

Египтологи изучили находки, сделанные почти сто лет назад

N+1
Военные патрули не снизили уровень преступности в колумбийском городе Кали Военные патрули не снизили уровень преступности в колумбийском городе Кали

Вооруженные силы не всегда способны влиять на уровень преступности

N+1
Прозрачная вода и никакой слизи: как почистить дачный бассейн перед летом Прозрачная вода и никакой слизи: как почистить дачный бассейн перед летом

Как поддерживать бассейн в чистоте, чтобы он не стал местом размножения бактерий

ТехИнсайдер
Узнайте необычные привычки людей с высоким интеллектом! Интересные факты Узнайте необычные привычки людей с высоким интеллектом! Интересные факты

На умственные способности человека влияет множество факторов

ТехИнсайдер
Малые дозы антибиотиков превратили возбудителя туберкулеза в суперпатоген. Хотя его ДНК не изменилось Малые дозы антибиотиков превратили возбудителя туберкулеза в суперпатоген. Хотя его ДНК не изменилось

Малые дозы антибиотиков вызывают у туберкулезных микобактерий устойчивость

ТехИнсайдер
Что делать, если ужалила пчела: 5 способов вылечить укус Что делать, если ужалила пчела: 5 способов вылечить укус

Как правильно достать жало пчелы из раны и обезболить укус

ТехИнсайдер
«Звезды в полдень»: шпионская драма о любви журналистки и сотрудника спецслужб «Звезды в полдень»: шпионская драма о любви журналистки и сотрудника спецслужб

Шпионская драма с деколониальной оптикой получилась не слишком впечатляющей

Forbes
От медосмотра до послеполетных работ: из чего складывается рабочий день бортпроводника От медосмотра до послеполетных работ: из чего складывается рабочий день бортпроводника

О подготовке к рейсу и обязанностях бортпроводников

ТехИнсайдер
Одна вокруг света: как Ирина Сидоренко и собака Грета объехали весь мир за шесть лет Одна вокруг света: как Ирина Сидоренко и собака Грета объехали весь мир за шесть лет

219-я серия о кругосветном путешествии Ирины Сидоренко: возвращение в Россию

Forbes
Мнение экспертов: Марс должны покорять женщины-астронавты, а не мужчины. Вот почему! Мнение экспертов: Марс должны покорять женщины-астронавты, а не мужчины. Вот почему!

Исследование показало, что женщины лучше приспособлены для космический миссий

ТехИнсайдер
Не очень молодой рассерженный Не очень молодой рассерженный

История Линдсея Андерсона и английского «свободного кино»

Weekend
Дюран Дюран

Трудно найти русскоязычного человека, который не видел ни одного комикса Дюрана

Правила жизни
Рынку ГКО — 30 лет Рынку ГКО — 30 лет

Как внутренний долг менял российскую финансовую систему

Деньги
«Как закалялась сталь» Николая Островского: трагическая история одного писателя и пациента «Как закалялась сталь» Николая Островского: трагическая история одного писателя и пациента

Как слепой и парализованный Николай Островский написал первую часть романа

ТехИнсайдер
«Ковер» Тальбота помог упорядоченно пленить десять тысяч атомов «Ковер» Тальбота помог упорядоченно пленить десять тысяч атомов

Показана технология создания оптических решеток на основе эффекта Тальбота

N+1
Как наладить аллергический фон: какие продукты исключить, а какие — добавить Как наладить аллергический фон: какие продукты исключить, а какие — добавить

Как ослабить симптомы аллергии, а то и вовсе свести на нет?

Psychologies
Открыть в приложении