Техаські дослідники запропонували новий метод реконструкції тексту на основі сигналів МРТ мозку та ШІ
Коротко
Техаський університет запропонував новий метод реконструкції тексту, який чує людина, на основі сигналу МРТ мозку.
Метод передбачає навчання мережі кодувальника для відновлення МРТ-зображення мозку, відповідного тексту, і використання попередньо навчених мовних моделей для створення варіантів продовження тексту.
Статистично створені тексти ближчі до оригіналу, ніж випадкові, і їх можна використовувати для дослідження функцій різних частин мозку.
Дослідники з Техаського університету запропонували новий метод відтворення тексту за сигналом МРТ мозку. Крім того, декодування відбувається в зв'язному тексті, семантично подібному до реального.
Раніше вже робили спроби декодувати текст, який людина чує (або говорить у своїй голові). Залежно від того, як сигнал виводиться з мозку, існує два різних підходи. Вилучення сигналу в стилі вторгнення є першим: чіп, який зчитує імпульси безпосередньо з мозку нейрони поміщаються в череп людини. Метод інвазивний, дорогий і складний. Неінвазивні методи виділення сигналу, включаючи МРТ і М/ЕЕГ, є другим варіантом; вони не вимагають свердління і менш дорогі.
Однак неінвазивні методи збору сигналів мозку мають один серйозний недолік: цей стимул впливає на показники МРТ людини протягом приблизно 10 секунд після впливу стимулу (наприклад, почутого слова). Носій англійської мови в середньому може сказати два слова за секунду. Виявляється, що кожне МРТ-зображення містить дані про обробку мозком приблизно двадцяти слів, якщо ви записуєте МРТ-сигнал, слухаючи англомовних.
В результаті за допомогою МРТ неможливо достовірно відтворити текст, який чує людина. Крім того, у багатьох попередніх дослідженнях на тему відновлення тексту за сигналами мозку, зібраними за допомогою неінвазивних методів, вдалося отримати лише конкретні слова та фрази.
І дослідники з Техасу розробили техніку МРТ для реконструкції (майже) зрозумілого тексту. Будуть певні відмінності між цим текстом і тим, що людина насправді почула. Однак він буде семантично еквівалентним, тобто представлятиме тлумачення, яке зазвичай приймається.
Щоб відновити магнітно-резонансну томографію мозку, пов’язану з цим уривком тексту, дослідники навчають мережу кодувальника, яка вивчає фрагмент тексту. Потім, використовуючи попередньо навчену мовну модель (наприклад GPT), дослідники виконують наступні кроки:
- — запитують дослідники GPT щоб створити численні можливості для просування тексту кожні дві секунди. Мережа кодера отримує ці численні параметри та намагається використати їх для відновлення поточного зображення МРТ. Ми вважаємо, що текстова версія, яка дозволила найточніше представити справжній сигнал МРТ, є точною.
Ось приклад:
| Оригінальний вхід | Вихід генерації |
| Я не знав, кричати, плакати чи тікати. Натомість я сказав: «Залиште мене в спокої; Мені не потрібна твоя допомога». Адам зник, а я прибирала одна, плачучи. | Я почав кричати і плакати, а потім вона просто сказала: «Я сказала тобі залишити мене в спокої». ти більше не можеш зробити мені боляче. Мені шкода, — а потім він кинувся геть. Хоча я думав, що він пішов, я почав плакати. |
Ця технологія матиме багато застосувань, якщо ви використовуєте її для створення мови замість прослуховування записів інших людей. Навіть реконструкція фіктивного мовлення була предметом експерименту авторів статті. І знову остаточні тексти виявилися більше схожими на оригінали, ніж випадкові. Підхід, здається, працює.
І за допомогою таких моделей можна досліджувати роботу різних відділів мозку. У цьому дослідженні три окремі області мозку, які обробляють звукову мову, використовувалися для генерації сигналу МРТ. Можна дізнатися, яка частина інформації обробляється якою областю мозку, додаючи та виключаючи сигнали з різних частин мозку з вхідних даних моделі. Крім того, ви можете контрастувати реконструкції моделі кодера, зроблені з використанням сигналів від інших компонентів.
Докладніше про ШІ:
відмова
Відповідно до Правила проекту Trust, будь ласка, зверніть увагу, що інформація, надана на цій сторінці, не призначена і не повинна тлумачитися як юридична, податкова, інвестиційна, фінансова або будь-яка інша форма консультації. Важливо інвестувати лише те, що ви можете дозволити собі втратити, і звернутися за незалежною фінансовою порадою, якщо у вас виникнуть сумніви. Щоб отримати додаткову інформацію, ми пропонуємо звернутися до положень та умов, а також до сторінок довідки та підтримки, наданих емітентом або рекламодавцем. MetaversePost прагне до точного, неупередженого звітування, але ринкові умови можуть змінюватися без попередження.
про автора
Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється.
інші статті
Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється.
