Тексаски изследователи предлагат нов метод за реконструкция на текст, базиран на сигнали за ЯМР на мозъка и AI
Накратко
Университетът на Тексас предложи нов метод за реконструкция на текста, който човек чува, въз основа на мозъчен сигнал от ЯМР.
Методът включва обучение на енкодерна мрежа за възстановяване на MRI изображението на мозъка, съответстващо на текста, и използване на предварително обучени езикови модели за генериране на опции за продължаване на текста.
Статистически генерирани текстове са по-близо до оригинала, отколкото произволните и могат да се използват за изследване на функциите на различни части на мозъка.
Изследователи от Тексаския университет предложиха нов метод за пресъздаване на текст от сигнал на мозъка с ядрено-магнитен резонанс. Освен това декодирането се извършва в съгласуван текст, семантично подобен на истинския.
Преди това са правени опити за декодиране на текст, който човек чува (или казва в главата си). В зависимост от това как сигналът се извежда от мозъка, има два различни подхода. Извличането на сигнал в стил инвазия е първото: чип, който чете импулси директно от мозъка неврони се поставят в черепа на човек. Методът е инвазивен, скъп и сложен. Неинвазивните техники за извличане на сигнала, включително MRI и M/EEG, са втората възможност; те не изискват пробиване и са по-евтини.
Въпреки това, неинвазивните техники за събиране на мозъчни сигнали имат един сериозен недостатък: ЯМР показанията на човек се влияят от този стимул за приблизително 10 секунди след излагане на стимул (като чуване на дума). Роденият английски може да каже средно две думи в секунда. Оказва се, че всяко ядрено-магнитен резонанс изображение съдържа данни за мозъка, обработващ приблизително двадесет думи, ако записвате ядрено-магнитен резонанс сигнал, докато слушате англоговорящи.
В резултат на това, използвайки ЯМР, е невъзможно да се пресъздаде точно текстът, който човек чува. Освен това, много по-ранни проучвания по темата за възстановяване на текст от мозъчни сигнали, събрани с помощта на неинвазивни техники, успяха да извлекат само конкретни думи и фрази.
И изследователите от Тексас разработиха техника за ядрено-магнитен резонанс, за да реконструират (почти) разбираем текст. Ще има известна разлика между този текст и това, което човекът действително е чул. Въпреки това, той ще бъде семантично еквивалентен, което означава, че ще представлява интерпретацията, която обикновено се приема.
За да възстановят ядрено-магнитен резонанс на мозъка, свързан с този пасаж от текст, изследователите обучават мрежата на енкодера, която се учи от част от текста. След това, използвайки предварително обучен езиков модел (като напр GPT), изследователите извършват следните стъпки:
- питат изследователите GPT за създаване на множество възможности за напредване на текста на всеки две секунди. Мрежата на енкодера получава тези много опции и се опитва да ги използва, за да възстанови текущото ЯМР изображение. Смятаме, че текстовата версия, която позволява най-точното представяне на истинския MRI сигнал, е точната.
Ето един пример:
| Оригинален вход | Изход за генериране |
| Не знаех дали да крещя, да плача или да избягам. Вместо това казах: „Оставете ме на мира; Нямам нужда от вашата помощ. Адам изчезна и аз чистих сама, плачейки. | Започнах да крещя и да плача, а тогава тя просто каза, казах ти да ме оставиш на мира; не можеш да ме нараниш повече. Съжалявам” и след това той избухна. Въпреки че мислех, че си е тръгнал, започнах да плача. |
Тази технология ще има много приложения, ако я използвате за съставяне на реч, вместо да слушате записи на други хора. Дори реконструкцията на фиктивна реч беше обект на експеримент от страна на авторите на статията. Още веднъж се оказа, че окончателните текстове са по-сходни с оригиналите, отколкото произволните. Подходът изглежда работи.
И с помощта на такива модели можете да изследвате операциите на различни области на мозъка. В това проучване три отделни области на мозъка, които обработват звуковата реч, са използвани за генериране на ЯМР сигнал. Човек може да научи коя част от информацията се обработва от коя област на мозъка чрез добавяне и елиминиране на сигнали от различни части на мозъка от входа на модела. Освен това можете да контрастирате реконструкции на модела на енкодера, направени с помощта на сигнали от други компоненти.
Прочетете повече за AI:
Отказ от отговорност
В съответствие с Доверете се насоките на проекта, моля, имайте предвид, че предоставената на тази страница информация не е предназначена да бъде и не трябва да се тълкува като правен, данъчен, инвестиционен, финансов или каквато и да е друга форма на съвет. Важно е да инвестирате само това, което можете да си позволите да загубите, и да потърсите независим финансов съвет, ако имате някакви съмнения. За допълнителна информация предлагаме да се обърнете към правилата и условията, както и към страниците за помощ и поддръжка, предоставени от издателя или рекламодателя. MetaversePost се ангажира с точно, безпристрастно отчитане, но пазарните условия подлежат на промяна без предизвестие.
За автора
Дамир е ръководител на екип, продуктов мениджър и редактор в Metaverse Post, обхващащи теми като AI/ML, AGI, LLMs, Metaverse и Web3- свързани полета. Статиите му привличат огромна аудитория от над милион потребители всеки месец. Изглежда, че е експерт с 10 години опит в SEO и дигитален маркетинг. Дамир е споменат в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и други публикации. Той пътува между ОАЕ, Турция, Русия и ОНД като дигитален номад. Дамир получава бакалавърска степен по физика, която според него му е дала уменията за критично мислене, необходими за успех в непрекъснато променящия се пейзаж на интернет.
Още статии
Дамир е ръководител на екип, продуктов мениджър и редактор в Metaverse Post, обхващащи теми като AI/ML, AGI, LLMs, Metaverse и Web3- свързани полета. Статиите му привличат огромна аудитория от над милион потребители всеки месец. Изглежда, че е експерт с 10 години опит в SEO и дигитален маркетинг. Дамир е споменат в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и други публикации. Той пътува между ОАЕ, Турция, Русия и ОНД като дигитален номад. Дамир получава бакалавърска степен по физика, която според него му е дала уменията за критично мислене, необходими за успех в непрекъснато променящия се пейзаж на интернет.
