Teksaški raziskovalci predlagajo novo metodo za rekonstrukcijo besedila na podlagi signalov MRI možganov in umetne inteligence
Na kratko
Univerza v Teksasu je predlagala novo metodo za rekonstrukcijo besedila, ki ga oseba sliši na podlagi možganskega signala MRI.
Metoda vključuje usposabljanje mreže kodirnikov za obnovitev MRI slike možganov, ki ustreza besedilu, in uporabo vnaprej usposobljenih jezikovnih modelov za ustvarjanje možnosti za nadaljevanje besedila.
Statistično gledano generirana besedila so bližje originalu kot naključni in jih je mogoče uporabiti za raziskovanje funkcij različnih delov možganov.
Raziskovalci z Univerze v Teksasu so predlagali novo metodo za poustvarjanje besedila iz možganskega signala MRI. Poleg tega se dekodiranje pojavi v koherentnem besedilu, ki je pomensko podobno pravemu.
Že prej so poskušali dekodirati besedilo, ki ga oseba sliši (ali izgovori v svoji glavi). Glede na to, kako se signal vzame iz možganov, obstajata dva različna pristopa. Odvzem signala v stilu invazije je prvi: čip, ki bere impulze neposredno iz možganov nevroni so nameščeni v človekovi lobanji. Metoda je invazivna, draga in zapletena. Druga možnost so neinvazivne tehnike ekstrakcije signala, vključno z MRI in M/EEG; ne zahtevajo vrtanja in so cenejši.
Vendar pa imajo neinvazivne tehnike za zbiranje možganskih signalov eno resno napako: na človekove odčitke MRI ta dražljaj vpliva približno 10 sekund po izpostavitvi dražljaju (kot je slišanje besede). Anglež lahko v povprečju izgovori dve besedi na sekundo. Izkazalo se je, da vsaka slika MRI vsebuje podatke o možganih, ki obdelujejo približno dvajset besed, če posnamete signal MRI, medtem ko poslušate angleško govoreče.
Posledično je z uporabo MRI nemogoče zvesto poustvariti besedilo, ki ga oseba sliši. Poleg tega je veliko prejšnjih študij na temo obnovitve besedila iz možganskih signalov, zbranih z neinvazivnimi tehnikami, uspelo pridobiti le določene besede in besedne zveze.
In teksaški raziskovalci so razvili tehniko MRI za rekonstrukcijo (skoraj) razumljivega besedila. Med tem besedilom in tem, kar je oseba dejansko slišala, bo nekaj razlik. Vendar pa bo pomensko enakovreden, kar pomeni, da bo predstavljal razlago, ki je običajno sprejeta.
Za obnovitev MRI možganov, povezanih s tem odlomkom besedila, raziskovalci urijo mrežo kodirnikov, ki se uči iz dela besedila. Nato z uporabo vnaprej usposobljenega jezikovnega modela (kot npr GPT), raziskovalci izvajajo naslednje korake:
- Raziskovalci se sprašujejo GPT za ustvarjanje številnih možnosti za napredovanje besedila vsaki dve sekundi. Omrežje kodirnika prejme te številne možnosti in jih poskuša uporabiti za obnovitev trenutne slike MRI. Menimo, da je besedilna različica, ki je omogočila najbolj natančno predstavitev pristnega MRI signala, točna.
Tukaj je primer:
| Izvirni vnos | Generation Output |
| Nisem vedela ali naj kričim, jokam ali pobegnem. Namesto tega sem rekel: »Pusti me pri miru; Ne potrebujem tvoje pomoči.” Adam je izginil, jaz pa sem pospravljala sama in jokala. | Začel sem kričati in jokati, potem pa je samo rekla, rekla sem ti, da me pustiš pri miru; ne moreš me več raniti. Oprosti,« nato pa je odvihral. Čeprav sem mislila, da je odšel, sem začela jokati. |
Ta tehnologija bo imela veliko uporab, če jo uporabljate za izmišljevanje govora namesto za poslušanje posnetkov drugih ljudi. Tudi rekonstrukcija fiktivnega govora je bila predmet eksperimenta avtorjev članka. Ponovno se je izkazalo, da so končna besedila bolj podobna izvirnikom kot naključna. Zdi se, da pristop deluje.
In s pomočjo takih modelov lahko raziskujete delovanje različnih možganskih regij. V tej študiji so bile za ustvarjanje MRI signala uporabljene tri ločene regije možganov, ki obravnavajo slišni govor. Kateri del informacij obdeluje kateri del možganov, se lahko naučimo z dodajanjem in izločanjem signalov iz različnih delov možganov iz vnosa modela. Poleg tega lahko kontrastirate rekonstrukcije modela kodirnika, narejene z uporabo signalov iz drugih komponent.
Preberite več o AI:
Zavrnitev odgovornosti
V skladu z Smernice projekta Trust, upoštevajte, da informacije na tej strani niso namenjene in se jih ne sme razlagati kot pravni, davčni, naložbeni, finančni ali kakršen koli drug nasvet. Pomembno je, da vlagate samo tisto, kar si lahko privoščite izgubiti, in da poiščete neodvisen finančni nasvet, če imate kakršne koli dvome. Za dodatne informacije predlagamo, da si ogledate določila in pogoje ter strani s pomočjo in podporo, ki jih nudi izdajatelj ali oglaševalec. MetaversePost se zavzema za natančno in nepristransko poročanje, vendar se tržni pogoji lahko spremenijo brez predhodnega obvestila.
O avtorju
Damir je vodja ekipe, produktni vodja in urednik pri Metaverse Post, ki pokriva teme, kot so AI/ML, AGI, LLMs, Metaverse in Web3- sorodna področja. Njegovi članki vsak mesec pritegnejo množično občinstvo več kot milijon uporabnikov. Zdi se, da je strokovnjak z 10-letnimi izkušnjami na področju SEO in digitalnega trženja. Damir je bil omenjen v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto in druge publikacije. Kot digitalni nomad potuje med ZAE, Turčijo, Rusijo in SND. Damir je diplomiral iz fizike, kar mu je po njegovem mnenju dalo sposobnosti kritičnega razmišljanja, potrebne za uspeh v nenehno spreminjajočem se okolju interneta.
več člankov
Damir je vodja ekipe, produktni vodja in urednik pri Metaverse Post, ki pokriva teme, kot so AI/ML, AGI, LLMs, Metaverse in Web3- sorodna področja. Njegovi članki vsak mesec pritegnejo množično občinstvo več kot milijon uporabnikov. Zdi se, da je strokovnjak z 10-letnimi izkušnjami na področju SEO in digitalnega trženja. Damir je bil omenjen v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto in druge publikacije. Kot digitalni nomad potuje med ZAE, Turčijo, Rusijo in SND. Damir je diplomiral iz fizike, kar mu je po njegovem mnenju dalo sposobnosti kritičnega razmišljanja, potrebne za uspeh v nenehno spreminjajočem se okolju interneta.
