Неинвазивный декодер восстановил текст из корковых семантических представлений

N+1Наука

Непрерывную речь декодировали по фМРТ

Неинвазивный декодер восстановил текст из корковых семантических представлений

Катерина Петрова

6b999b71c3a31e9d965057913513241b.jpeg
Jerry Tang et al. / Nature Neuroscience, 2023; N + 1

Американские исследователи разработали неинвазивный декодер, который по активности мозга может реконструировать непрерывный текст — будь то история, которую человек слушает, или воображаемый рассказ, или даже суть видеоролика, в котором нет слов. Декодер обучали на данных фМРТ трех человек, которые 16 часов слушали истории. Модель не всегда могла предсказать точные слова по записям фМРТ, но передавала смысл историй. Результаты опубликованы в Nature Neuroscience.

Чтобы записать нейронную активность, необходимую для декодирования речи, нужно установить электроды прямо на мозг. Этот способ используют в исследованиях с парализованными людьми, которые не могут говорить, но инвазивность такой процедуры ограничивает ее применение. Декодеры, использующие неинвазивные записи активности мозга, способны расшифровывать отдельные слова или короткие фразы, но неизвестно, могут ли эти декодеры работать с непрерывным естественным языком.

Александр Хаc (Alexander Huth) из Техасского университета в Остине и его коллеги разработали декодер, который восстанавливает непрерывный текст из записей активности мозга, полученных неинвазивным способом — с помощью функциональной магнитно-резонансной томографии.

Серьезным ограничением было то, что сигнал фМРТ не успевает за нейронной активностью. Функциональная магнитно-резонансная томография измеряет изменения кровотока, вызванные нейронной активностью в той или иной части мозга. Чтобы сигнал фМРТ увеличился или снизился, требуется около 10 секунд. За это время англоговорящий человек может услышать или произнести более 20 слов. Выходит, что слов для декодирования больше, чем изображений фМРТ. Ученые решили это проблему так: научили декодер угадывать последовательность слов, оценивая, насколько вероятно каждое возможное слово могло вызвать конкретную записанную реакцию мозга, — и так выбирать лучшего кандидата, то есть самое вероятное слово.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Стобалльный стресс. Как помочь себе и ребенку успокоиться перед ЕГЭ Стобалльный стресс. Как помочь себе и ребенку успокоиться перед ЕГЭ

Как родителям поддержать выпускников и помочь им справиться со стрессом

СНОБ
Язык любовных прелюдий Язык любовных прелюдий

Предварительные ласки нужны только женщинам, а мужчины без них могут обойтись?

Psychologies
Мнение эксперта: из-за ИИ в мире будет меньше профессионалов и «больше лузеров». Согласны? Мнение эксперта: из-за ИИ в мире будет меньше профессионалов и «больше лузеров». Согласны?

Правительства должны поддержать работников, которые потеряли работу из-за ИИ

ТехИнсайдер
Время отдыха Время отдыха

11 ритуалов, которые помогут прийти в себя после рабочего дня

Лиза
Вы удивитесь, что на самом деле означает слово «колготки», и как правильно говорить: «калготы» или «колготки»? Вы удивитесь, что на самом деле означает слово «колготки», и как правильно говорить: «калготы» или «колготки»?

Задумывались ли вы когда-нибудь, почему колготки называются именно так?

ТехИнсайдер
Яндекс встроил в Алису нейросеть YandexGPT Яндекс встроил в Алису нейросеть YandexGPT

YandexGPT поможет написать что угодно: план тренировки или список подарков

N+1
Акулы-молоты задержали дыхание ради сохранения тепла на глубине Акулы-молоты задержали дыхание ради сохранения тепла на глубине

Акулы-молоты закрыли жаберные щели, чтобы тепло не уходило через жабры

N+1
Судьба «Почтальона» Судьба «Почтальона»

Как роман времен Великой депрессии вдохновил Альбера Камю и покорил Тома Вулфа

Weekend
Книга Надежды: как поддержать себя и родных при страшном диагнозе Книга Надежды: как поддержать себя и родных при страшном диагнозе

«Утро наступает всегда» — рассказ о том, как жить с тяжелым диагнозом

Psychologies
Не только авокадо: 5 продуктов, которые гарантированно снизят холестерин Не только авокадо: 5 продуктов, которые гарантированно снизят холестерин

Что нужно есть для того, чтобы контролировать холестерин в крови

Psychologies
8 продуктов для сияющей кожи лица 8 продуктов для сияющей кожи лица

Наш внешний вид и наше здоровье зависит от питания

ТехИнсайдер
«Как рассказать женщине, что мне хочется?»: 3 совета сексолога «Как рассказать женщине, что мне хочется?»: 3 совета сексолога

Как поговорить с партнершей о сокровенном?

Psychologies
Аппетит уменьшается летом? Вот как стоит питаться в жару: советы эксперта! Аппетит уменьшается летом? Вот как стоит питаться в жару: советы эксперта!

Лайфхаки, которые помогут вашему организму чувствовать себя комфортнее в жару

ТехИнсайдер
Вам одиноко? Ученые нашли связь между использованием YouTube и повышенным одиночеством Вам одиноко? Ученые нашли связь между использованием YouTube и повышенным одиночеством

Исследователи обнаружили связь между YouTube и повышенным уровнем одиночества

ТехИнсайдер
Культурный гид по Владикавказу: что смотреть и куда идти в столице Северной Осетии Культурный гид по Владикавказу: что смотреть и куда идти в столице Северной Осетии

Исследуем столицу Северной Осетии: интересные старые и новые локации

Forbes
Эпоха светлого: кто и когда впервые приготовил лагер — самое популярное пиво в мире? Эпоха светлого: кто и когда впервые приготовил лагер — самое популярное пиво в мире?

Как конкуренция двух пивных регионов Европы дала начало известному напитку

Вокруг света
Повысить либидо: 4 упражнения для возвращения желания Повысить либидо: 4 упражнения для возвращения желания

Упражнения, которые помогут повысить либидо

Psychologies
Стесняюсь спросить: что делать, если не хочется работать Стесняюсь спросить: что делать, если не хочется работать

Что делать, если проблема выгорания и нежелания работать накрыла с головой

Правила жизни
«Наш дом не здесь»: как сейчас меняется жизнь россиян в Грузии «Наш дом не здесь»: как сейчас меняется жизнь россиян в Грузии

Что думают переехавшие в Грузию россияне, изменились ли их настроения

Forbes
7 приложений для учета расходов и доходов и планирования бюджета 7 приложений для учета расходов и доходов и планирования бюджета

Не понимаете, куда уходят деньги? Эти мобильные приложения для вас

CHIP
Урожай без хлопот Урожай без хлопот

Итак, наметим фронт посадочных работ на июнь

Лиза
Как распознать манипуляции со стороны партнера и остановить их Как распознать манипуляции со стороны партнера и остановить их

Что делать, если вы столкнулись с манипуляцией со стороны партнера?

Psychologies
Они дома: почему спортсмены не спешат уходить из ЦСКА ради Олимпиады Они дома: почему спортсмены не спешат уходить из ЦСКА ради Олимпиады

Почему атлеты самовольно отказываются от международной карьеры

Forbes
Штаны из тента для палатки: как джинсы за 150 лет превратились из спецовки в самую популярную одежду в мире Штаны из тента для палатки: как джинсы за 150 лет превратились из спецовки в самую популярную одежду в мире

История брюк, без которых невозможно представить современный гардероб

Вокруг света
Несогласие со смертью: почему у умирающих вся жизнь проносится перед глазами? Несогласие со смертью: почему у умирающих вся жизнь проносится перед глазами?

Что происходит с мозгом сразу после последнего удара сердца

Вокруг света
Смирная провокационность Смирная провокационность

Волосы в Musee des Arts Decoratifs

Weekend
Хотела похудеть, а поправилась как на дрожжах: эти способы завтракать добавляют лишних кило всем женщинам 40+ Хотела похудеть, а поправилась как на дрожжах: эти способы завтракать добавляют лишних кило всем женщинам 40+

Привычки, которые сводят на нет все усилия по снижению веса

VOICE
Токсичный брак: 5 признаков деструктивных отношений Токсичный брак: 5 признаков деструктивных отношений

Как распознать первые признаки деструктивных отношений?

Psychologies
IBM хочет построить квантовый компьютер объемом 100 000 кубит IBM хочет построить квантовый компьютер объемом 100 000 кубит

IBM объявила о планах создания квантового компьютера объемом 100 000 кубит

ТехИнсайдер
Окситоцин помог мозгу психопатов распознать испуг на лицах Окситоцин помог мозгу психопатов распознать испуг на лицах

После введения окситоцина мозг психопатов начинает лучше распознавать испуг

N+1
Открыть в приложении