Тексашки истраживачи предлажу нови метод за реконструкцију текста на основу МРИ сигнала мозга и АИ
Укратко
Универзитет у Тексасу предложио је нову методу за реконструкцију текста који особа чује на основу сигнала МРИ мозга.
Метода укључује обуку мреже енкодера за враћање МРИ слике мозга која одговара тексту и коришћење унапред обучених језичких модела за генерисање опција за наставак текста.
Статистички генерисани текстови су ближи оригиналу од насумичних и могу се користити за истраживање функција различитих делова мозга.
Истраживачи са Универзитета у Тексасу предложили су нову методу за поновно креирање текста из сигнала МРИ мозга. Штавише, декодирање се дешава у кохерентном тексту семантички сличном стварном.
Раније је покушано да се декодира текст који особа чује (или каже у својој глави). У зависности од тога како се сигнал извлачи из мозга, постоје два различита приступа. Екстракција сигнала у стилу инвазије је прва: Чип који чита импулсе директно из мозга неурони се постављају у лобању особе. Метода је инвазивна, скупа и компликована. Неинвазивне технике екстракције сигнала, укључујући МРИ и М/ЕЕГ, су друга опција; не захтевају никакво бушење и јефтинији су.
Међутим, неинвазивне технике за прикупљање можданих сигнала имају једну озбиљну ману: на очитавања МРИ особе утиче тај стимулус отприлике 10 секунди након излагања стимулусу (као што је слушање речи). Рођени Енглез може у просеку да изговори две речи у секунди. Испоставило се да свака МРИ слика садржи податке о мозгу који обрађује отприлике двадесет речи ако снимите МРИ сигнал док слушате говорнике енглеског.
Као резултат тога, користећи МРИ, немогуће је верно рекреирати текст који особа чује. Поред тога, многе раније студије на тему опоравка текста из можданих сигнала прикупљених коришћењем неинвазивних техника успеле су само у проналажењу одређених речи и фраза.
Истраживачи из Тексаса развили су технику МРИ за реконструкцију (скоро) разумљивог текста. Биће неке варијације између овог текста и онога што је особа заиста чула. Међутим, биће семантички еквивалентан, што значи да ће представљати интерпретацију која се обично прихвата.
Да би повратили МРИ мозга повезан са овим одломком текста, истраживачи обучавају мрежу енкодера, која учи из дела текста. Затим, користећи унапред обучени језички модел (нпр GPT), истраживачи обављају следеће кораке:
- Питају истраживачи GPT да створи бројне могућности за напредовање текста сваке две секунде. Мрежа енкодера прима ове многе опције и покушава да их користи да поврати садашњу МРИ слику. Мислимо да је текстуална верзија која је омогућила најтачнији приказ правог МРИ сигнала тачна.
Ево примера:
| Оригинал Инпут | Генератион Оутпут |
| Нисам знао да ли да вриснем, да плачем или да побегнем. Уместо тога, рекао сам: „Остави ме на миру; Не треба ми твоја помоћ.” Адам је нестао, а ја сам чистио сам плачући. | Почео сам да вриштим и да плачем, а онда је она само рекла, рекла сам ти да ме оставиш на миру; не можеш ме више повредити. Жао ми је”, а онда је одјурио. Иако сам мислила да је отишао, почела сам да плачем. |
Ова технологија ће имати много употреба ако је користите за измишљање говора уместо да слушате туђе снимке. Чак је и реконструкција фиктивног говора била предмет експеримента аутора чланка. Још једном се показало да су коначни текстови сличнији оригиналима него случајни. Чини се да приступ функционише.
А уз помоћ таквих модела можете истражити рад различитих региона мозга. У овој студији, три одвојена региона мозга који управљају звучним говором коришћена су за генерисање МРИ сигнала. Може се научити који део информација обрађује која област мозга додавањем и елиминисањем сигнала из различитих делова мозга из уноса модела. Додатно, можете контрастирати реконструкције модела енкодера направљене коришћењем сигнала са других компоненти.
Прочитајте више о АИ:
Одрицање од одговорности
У складу са Смернице пројекта Труст, имајте на уму да информације дате на овој страници нису намењене и не треба да се тумаче као правни, порески, инвестициони, финансијски или било који други облик савета. Важно је да инвестирате само оно што можете приуштити да изгубите и да тражите независан финансијски савет ако сумњате. За додатне информације, предлажемо да погледате одредбе и услове, као и странице помоћи и подршке које пружа издавач или оглашивач. MetaversePost је посвећен тачном, непристрасном извештавању, али тржишни услови су подложни променама без претходне најаве.
О аутору
Дамир је вођа тима, менаџер производа и уредник у Metaverse Post, покривајући теме као што су АИ/МЛ, АГИ, ЛЛМ, Метаверсе и Web3-сродна поља. Његови чланци привлаче огромну публику од преко милион корисника сваког месеца. Чини се да је стручњак са 10 година искуства у СЕО и дигиталном маркетингу. Дамир се помиње у Масхабле, Виред, Cointelegraph, Тхе Нев Иоркер, Инсиде.цом, Ентрепренеур, БеИнЦрипто и друге публикације. Путује између УАЕ, Турске, Русије и ЗНД као дигитални номад. Дамир је стекао диплому физике, за коју верује да му је дало вештине критичког размишљања које су му потребне да буде успешан у свету интернета који се стално мења.
više чланака
Дамир је вођа тима, менаџер производа и уредник у Metaverse Post, покривајући теме као што су АИ/МЛ, АГИ, ЛЛМ, Метаверсе и Web3-сродна поља. Његови чланци привлаче огромну публику од преко милион корисника сваког месеца. Чини се да је стручњак са 10 година искуства у СЕО и дигиталном маркетингу. Дамир се помиње у Масхабле, Виред, Cointelegraph, Тхе Нев Иоркер, Инсиде.цом, Ентрепренеур, БеИнЦрипто и друге публикације. Путује између УАЕ, Турске, Русије и ЗНД као дигитални номад. Дамир је стекао диплому физике, за коју верује да му је дало вештине критичког размишљања које су му потребне да буде успешан у свету интернета који се стално мења.
