Неинвазивный декодер восстановил текст из корковых семантических представлений

N+1Наука

Непрерывную речь декодировали по фМРТ

Неинвазивный декодер восстановил текст из корковых семантических представлений

Катерина Петрова

6b999b71c3a31e9d965057913513241b.jpeg
Jerry Tang et al. / Nature Neuroscience, 2023; N + 1

Американские исследователи разработали неинвазивный декодер, который по активности мозга может реконструировать непрерывный текст — будь то история, которую человек слушает, или воображаемый рассказ, или даже суть видеоролика, в котором нет слов. Декодер обучали на данных фМРТ трех человек, которые 16 часов слушали истории. Модель не всегда могла предсказать точные слова по записям фМРТ, но передавала смысл историй. Результаты опубликованы в Nature Neuroscience.

Чтобы записать нейронную активность, необходимую для декодирования речи, нужно установить электроды прямо на мозг. Этот способ используют в исследованиях с парализованными людьми, которые не могут говорить, но инвазивность такой процедуры ограничивает ее применение. Декодеры, использующие неинвазивные записи активности мозга, способны расшифровывать отдельные слова или короткие фразы, но неизвестно, могут ли эти декодеры работать с непрерывным естественным языком.

Александр Хаc (Alexander Huth) из Техасского университета в Остине и его коллеги разработали декодер, который восстанавливает непрерывный текст из записей активности мозга, полученных неинвазивным способом — с помощью функциональной магнитно-резонансной томографии.

Серьезным ограничением было то, что сигнал фМРТ не успевает за нейронной активностью. Функциональная магнитно-резонансная томография измеряет изменения кровотока, вызванные нейронной активностью в той или иной части мозга. Чтобы сигнал фМРТ увеличился или снизился, требуется около 10 секунд. За это время англоговорящий человек может услышать или произнести более 20 слов. Выходит, что слов для декодирования больше, чем изображений фМРТ. Ученые решили это проблему так: научили декодер угадывать последовательность слов, оценивая, насколько вероятно каждое возможное слово могло вызвать конкретную записанную реакцию мозга, — и так выбирать лучшего кандидата, то есть самое вероятное слово.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Инженеры научились бесконтактно тыкать в сенсорный экран Инженеры научились бесконтактно тыкать в сенсорный экран

GhostTouch, который позволяет бесконтактно управлять сенсорными экранами

N+1
«Смартфон-фейс»: как в Сети распознают актрис, не подходящих для ролей в историческом кино «Смартфон-фейс»: как в Сети распознают актрис, не подходящих для ролей в историческом кино

«Смартфон-фейс» — может ли актриса убедительно изобразить женщину другой эпохи

VOICE
Народный автомобиль за 500 тыс. руб. Это вообще возможно? Народный автомобиль за 500 тыс. руб. Это вообще возможно?

Как люди в разных странах пытались создать народный автомобиль?

РБК
Одними из первых людей в Америке были... китайцы? Удивительное открытие! Одними из первых людей в Америке были... китайцы? Удивительное открытие!

Среди первых людей в Америке были выходцы из нынешнего Китая

ТехИнсайдер
Вот почему с годами кажется, что время идет быстрее! А вы это замечали? Вот почему с годами кажется, что время идет быстрее! А вы это замечали?

Восприятие времени сильно меняется по мере старения

ТехИнсайдер
Пятница круглое лето Пятница круглое лето

Начало лета похоже на пятницу. Чувством, что всё еще впереди

Новый очаг
«Всегда говори „да“»: 13 правил достижения успеха — как не выгореть на полпути и прийти к цели «Всегда говори „да“»: 13 правил достижения успеха — как не выгореть на полпути и прийти к цели

Советы, которые помогут реализовать потенциал

Psychologies
Другая вода и почти нет кислорода: чем манит ученых «голубая дыра» глубиной 274 м на дне океана? Другая вода и почти нет кислорода: чем манит ученых «голубая дыра» глубиной 274 м на дне океана?

Содержимое этого гигантского конуса расскажет о древней Земле

Вокруг света
Зонотрихии отключили чувствительные к магнитному полю нейроны на время отдыха в период миграции Зонотрихии отключили чувствительные к магнитному полю нейроны на время отдыха в период миграции

Нейроны птиц, реагирующие на магнитное поле, активны только во время миграции

N+1
От этого пса отказались хозяева! Но с новыми владельцами мопс покорил 48 гор выше 1200 метров От этого пса отказались хозяева! Но с новыми владельцами мопс покорил 48 гор выше 1200 метров

Удивительная история мопса по имени Вуф

ТехИнсайдер
Астрономы нашли прародителя двойной системы черных дыр в соседней галактике Астрономы нашли прародителя двойной системы черных дыр в соседней галактике

Астрономы нашли теснаую двойную систему очень массивных звезд

N+1
Динозавр с Дикого запада: посмотрите на ящера с клювом, которого не смогли классифицировать ученые Динозавр с Дикого запада: посмотрите на ящера с клювом, которого не смогли классифицировать ученые

Палеонтологи обнаружили нового ринхозавра

Вокруг света
Селфи на фоне книг: как женщины заявляли о себе с помощью портретов Селфи на фоне книг: как женщины заявляли о себе с помощью портретов

Отрывок из «Записок библиофила» Эммы Смит — о женщинах и их любви к книгам

Forbes
Кризис старения: 7 способов принять неизбежное — найдите новый смысл Кризис старения: 7 способов принять неизбежное — найдите новый смысл

Как принять грядущий уход и найти цель, чтобы продолжать радоваться

Psychologies
Узнайте необычные привычки людей с высоким интеллектом! Интересные факты Узнайте необычные привычки людей с высоким интеллектом! Интересные факты

На умственные способности человека влияет множество факторов

ТехИнсайдер
Отечественные фильмы, получившие самые престижные награды за границей Отечественные фильмы, получившие самые престижные награды за границей

Оскар и Канны были отнюдь не равнодушные к фильмам из СССР

Maxim
Палеонтологи подтвердили существование муста у мамонтов Палеонтологи подтвердили существование муста у мамонтов

Самцы мамонтов, как и современные слоны, были способны испытывать муст

N+1
Промах Гитлера: почему создатель атомной бомбы Оппенгеймер критиковал пакт с СССР Промах Гитлера: почему создатель атомной бомбы Оппенгеймер критиковал пакт с СССР

Отрывок из книги «Оппенгеймер. Триумф и трагедия Американского Прометея»

Forbes
Смотрим второй сезон «Доисторической планеты» Смотрим второй сезон «Доисторической планеты»

Путешествие по Земле мелового периода продолжается

N+1
Show must go on Show must go on

У Ивана Чуйкова сбылась главная мечта — у него наконец-то есть свое шоу!

OK!
Легенды без награды: ты удивишься, узнав, что эти звезды первой величины никогда не получали Легенды без награды: ты удивишься, узнав, что эти звезды первой величины никогда не получали

Собрали несколько ярких примеров актеров, которые так и не получили «Оскар»

VOICE
Кофе и сигареты. Кого и что любил Иосиф Бродский Кофе и сигареты. Кого и что любил Иосиф Бродский

Бродский любил выпить, хорошо поесть и жить не мог без кошек и женщин

СНОБ
Гострайтер принца Гарри рассказал о процессе написания автобиографии «Запасной» Гострайтер принца Гарри рассказал о процессе написания автобиографии «Запасной»

Дж. Р. Мерингер, работавший с принцем Гарри, рассказал о мемуарах «Запасной»

Forbes
Как лучше худеть — быстро или медленно? Эксперты все объяснили! Как лучше худеть — быстро или медленно? Эксперты все объяснили!

У специалистов есть объяснение, почему спешить с похудением не нужно

ТехИнсайдер
Спорим, ты не знала, кем был первый мужчина-супермодель — вот как он выглядит сейчас Спорим, ты не знала, кем был первый мужчина-супермодель — вот как он выглядит сейчас

Знакомим тебя с красавцем, которому достался титул первого мужчины-супермодели

VOICE
Анонимно сблизиться с сыном в сети, чтобы вернуть его любовь: чем оборачивается хитрость героини новой пьесы «Это все она» Анонимно сблизиться с сыном в сети, чтобы вернуть его любовь: чем оборачивается хитрость героини новой пьесы «Это все она»

Что толкает людей на виртуальные отношения?

Psychologies
Я — сноб: режиссер Олег Трофим Я — сноб: режиссер Олег Трофим

Режиссер Олег Трофим: чем он гордится и без чего не представляет свой день?

СНОБ
7 азиатских авторов, на которых стоит обратить внимание 7 азиатских авторов, на которых стоит обратить внимание

Азиатские авторы, которые смогут вас удивить

СНОБ
Петен, Пол Пот и король Сианук Петен, Пол Пот и король Сианук

Сложное царствование короля Камбоджи Сианука

Дилетант
Как голос ИИ может помочь в лечении депрессии и тревоги: вы поразитесь! Как голос ИИ может помочь в лечении депрессии и тревоги: вы поразитесь!

Могут ли роботы помочь в лечении депрессии?

ТехИнсайдер
Открыть в приложении