Техасские исследователи предлагают новый метод реконструкции текста на основе сигналов МРТ головного мозга и искусственного интеллекта
Коротко
Техасский университет предложил новый метод реконструкции текста, который слышит человек, на основе сигнала МРТ головного мозга.
Метод включает в себя обучение сети кодировщика восстановлению МРТ-изображения мозга, соответствующего тексту, и использование предварительно обученных языковых моделей для генерации вариантов продолжения текста.
Статистически сгенерированные тексты ближе к оригиналу, чем случайные, и могут быть использованы для изучения функций различных отделов мозга.
Исследователи из Техасского университета предложили новый метод воссоздания текста из сигнала МРТ головного мозга. При этом декодирование происходит в связном тексте, семантически близком к реальному.
Ранее предпринимались попытки декодировать текст, который человек слышит (или произносит в голове). В зависимости от того, как сигнал выводится из мозга, существуют два разных подхода. Извлечение сигналов в стиле вторжения — первое: чип, который считывает импульсы непосредственно из мозга нейронов находится в черепе человека. Метод инвазивный, дорогой и сложный. Неинвазивные методы извлечения сигнала, включая МРТ и М/ЭЭГ, являются вторым вариантом; они не требуют сверления и дешевле.
Однако у неинвазивных методов сбора сигналов мозга есть один серьезный недостаток: на показания МРТ человека влияет этот стимул в течение примерно 10 секунд после воздействия стимула (например, когда он слышит слово). Носитель английского языка может произносить в среднем два слова в секунду. Оказывается, каждое МРТ-изображение содержит данные о мозге, обрабатывающем примерно двадцать слов, если вы записываете МРТ-сигнал, слушая англоговорящих.
В результате с помощью МРТ невозможно достоверно воссоздать текст, который слышит человек. Кроме того, во многих более ранних исследованиях восстановления текста из сигналов мозга, собранных с использованием неинвазивных методов, удалось извлечь только определенные слова и фразы.
А исследователи из Техаса разработали технику МРТ для реконструкции (почти) разборчивого текста. Между этим текстом и тем, что на самом деле услышал человек, будут некоторые различия. Однако семантически он будет эквивалентен, а это означает, что он будет представлять интерпретацию, которая обычно принимается.
Чтобы восстановить данные МРТ мозга, связанные с этим фрагментом текста, исследователи тренируют сеть кодировщика, которая обучается на основе фрагмента текста. Затем, используя предварительно обученную языковую модель (например, GPT), исследователи выполняют следующие шаги:
- Исследователи спрашивают GPT чтобы создать множество возможностей для продвижения текста каждые две секунды. Сеть кодировщика получает эти многочисленные параметры и пытается использовать их для восстановления текущего МРТ-изображения. Мы считаем, что текстовая версия, которая позволила наиболее точно представить подлинный сигнал МРТ, является точной.
Вот пример:
| Исходный ввод | Выход генерации |
| Я не знала, то ли кричать, то ли плакать, то ли убегать. Вместо этого я сказал: «Оставьте меня в покое; Мне не нужна твоя помощь». Адам исчез, а я убиралась одна, плача. | Я начал кричать и плакать, а потом она просто сказала: «Я сказала тебе оставить меня в покое; ты больше не можешь причинить мне боль. Прости, — а потом он ушел. Хотя я думала, что он ушел, я начала плакать. |
Эта технология будет иметь много применений, если вы будете использовать ее для создания речи, а не для прослушивания записей других людей. Даже реконструкция фиктивной речи стала предметом эксперимента авторов статьи. И снова окончательные тексты оказались более похожими на оригиналы, чем случайные. Кажется, подход работает.
И с помощью таких моделей можно исследовать работу различных областей мозга. В этом исследовании для генерации сигнала МРТ использовались три отдельные области мозга, которые обрабатывают слышимую речь. Можно узнать, какая часть информации обрабатывается какой областью мозга, добавляя и исключая сигналы от различных частей мозга на входе модели. Кроме того, вы можете сравнивать реконструкции модели кодировщика, сделанные с использованием сигналов от других компонентов.
Подробнее об ИИ:
Отказ от ответственности
В соответствии с Руководство трастового проектаОбратите внимание, что информация, представленная на этой странице, не предназначена и не должна интерпретироваться как юридическая, налоговая, инвестиционная, финансовая или любая другая форма консультации. Важно инвестировать только то, что вы можете позволить себе потерять, и обращаться за независимой финансовой консультацией, если у вас есть какие-либо сомнения. Для получения дополнительной информации мы предлагаем обратиться к положениям и условиям, а также к страницам справки и поддержки, предоставленным эмитентом или рекламодателем. MetaversePost стремится предоставлять точную и объективную отчетность, однако рыночные условия могут быть изменены без предварительного уведомления.
Об авторе
Дамир — руководитель группы, менеджер по продукту и редактор в Metaverse Post, охватывающие такие темы, как AI/ML, AGI, LLM, Metaverse и Web3-связанные поля. Его статьи ежемесячно привлекают огромную аудиторию, насчитывающую более миллиона пользователей. Похоже, он эксперт с 10-летним опытом работы в области SEO и цифрового маркетинга. Дамир упоминается в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и другие издания. Он путешествует между ОАЭ, Турцией, Россией и СНГ в качестве цифрового кочевника. Дамир получил степень бакалавра в области физики, что, по его мнению, дало ему навыки критического мышления, необходимые для достижения успеха в постоянно меняющемся мире Интернета.
Другие статьи
Дамир — руководитель группы, менеджер по продукту и редактор в Metaverse Post, охватывающие такие темы, как AI/ML, AGI, LLM, Metaverse и Web3-связанные поля. Его статьи ежемесячно привлекают огромную аудиторию, насчитывающую более миллиона пользователей. Похоже, он эксперт с 10-летним опытом работы в области SEO и цифрового маркетинга. Дамир упоминается в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и другие издания. Он путешествует между ОАЭ, Турцией, Россией и СНГ в качестве цифрового кочевника. Дамир получил степень бакалавра в области физики, что, по его мнению, дало ему навыки критического мышления, необходимые для достижения успеха в постоянно меняющемся мире Интернета.
