Texase teadlased pakuvad välja uue meetodi teksti rekonstrueerimiseks aju MRI signaalide ja tehisintellekti põhjal
Põgusalt
Texase ülikool on pakkunud välja uue meetodi inimese kuulda teksti rekonstrueerimiseks MRT ajusignaali põhjal.
Meetod hõlmab kodeerijavõrgu koolitamist tekstile vastava aju MRT-pildi taastamiseks ning teksti jätkamise võimaluste genereerimiseks eelnevalt väljaõpetatud keelemudelite kasutamist.
Statistiliselt loodud tekstid on originaalile lähedasemad kui juhuslikud ja neid saab kasutada aju erinevate osade funktsioonide uurimiseks.
Texase ülikooli teadlased pakkusid välja uue meetodi teksti taasloomiseks MRI ajusignaalist. Lisaks toimub dekodeerimine sidusas tekstis, mis semantiliselt sarnaneb tegelikule tekstile.
Varem on püütud dekodeerida teksti, mida inimene kuuleb (või ütleb oma peas). Sõltuvalt sellest, kuidas signaal ajust välja võetakse, on kaks erinevat lähenemist. Invasiooni stiilis signaali eraldamine on esimene: kiip, mis loeb impulsse otse ajust neuronid asetatakse inimese kolju. Meetod on invasiivne, kallis ja keeruline. Teiseks võimaluseks on mitteinvasiivsed signaali eraldamise tehnikad, sealhulgas MRI ja M/EEG; need ei vaja puurimist ja on odavamad.
Kuid mitteinvasiivsetel ajusignaalide kogumise tehnikatel on üks tõsine viga: see stiimul mõjutab inimese MRI-näiteid ligikaudu 10 sekundi jooksul pärast kokkupuudet stiimuliga (nt sõna kuulmine). Inglise põliselanik suudab öelda keskmiselt kaks sõna sekundis. Selgub, et iga MRT-pilt sisaldab andmeid selle kohta, et aju töötleb umbes kakskümmend sõna, kui salvestate inglise keele kõnelejaid kuulates MRI-signaali.
Selle tulemusena on MRI abil võimatu teksti, mida inimene kuuleb, tõetruult uuesti luua. Lisaks õnnestus paljudel varasematel mitteinvasiivsete tehnikate abil kogutud ajusignaalide teksti taastamise teemal tehtud uuringutel leida ainult konkreetseid sõnu ja fraase.
Ja Texase teadlased töötasid välja MRI tehnika (peaaegu) arusaadava teksti rekonstrueerimiseks. Selle teksti ja selle vahel, mida inimene tegelikult kuulis, on mõningaid erinevusi. Siiski on see semantiliselt samaväärne, mis tähendab, et see esindab tavaliselt aktsepteeritud tõlgendust.
Selle tekstilõiguga seotud aju MRI taastamiseks koolitavad teadlased kodeerimisvõrku, mis õpib tekstiosast. Seejärel kasutage eelnevalt koolitatud keelemudelit (nt GPT), teevad teadlased järgmised sammud:
- Uurijad küsivad GPT luua arvukalt võimalusi teksti edasiliikumiseks iga kahe sekundi järel. Kodeeriv võrk saab need paljud valikud ja püüab neid kasutada praeguse MRI kujutise taastamiseks. Arvame, et tekstiversioon, mis võimaldas ehtsa MRI-signaali kõige täpsemini esitada, on täpne.
Siin on näide:
| Algne sisend | Põlvkonna väljund |
| Ma ei teadnud, kas karjuda, nutta või põgeneda. Selle asemel ütlesin: „Jäta mind rahule; Ma ei vaja teie abi." Adam kadus ja ma koristasin üksinda nuttes. | Ma hakkasin karjuma ja nutma ja siis ta lihtsalt ütles: Ma käskisin sul mind rahule jätta; sa ei saa mulle enam haiget teha. Vabandust,” ja siis tormas ta minema. Kuigi ma arvasin, et ta on lahkunud, hakkasin nutma. |
Sellel tehnoloogial on palju kasutusvõimalusi, kui kasutate seda teiste inimeste salvestiste kuulamise asemel kõne koostamiseks. Isegi fiktiivse kõne rekonstrueerimine oli artikli autorite eksperimenti. Taas kord osutusid lõplikud tekstid originaalidega sarnasemaks kui juhuslikud. Lähenemine näib toimivat.
Ja selliste mudelite abil saate uurida erinevate ajupiirkondade toiminguid. Selles uuringus kasutati MRI signaali genereerimiseks kolme erinevat ajupiirkonda, mis käsitlevad kuuldavat kõnet. Saate teada, millist osa teabest milline ajupiirkond töötleb, lisades ja eemaldades mudeli sisendist signaale erinevatest ajuosadest. Lisaks saate kontrastida kodeerija mudeli rekonstruktsioone, mis on tehtud teiste komponentide signaalide abil.
Loe AI kohta lähemalt:
Kaebused
Vastavalt Usaldusprojekti juhised, pange tähele, et sellel lehel esitatud teave ei ole mõeldud ega tohiks tõlgendada kui juriidilist, maksu-, investeerimis-, finants- või muud nõuannet. Oluline on investeerida ainult seda, mida saate endale lubada kaotada, ja kahtluste korral küsida sõltumatut finantsnõu. Lisateabe saamiseks soovitame vaadata nõudeid ja tingimusi ning väljaandja või reklaamija pakutavaid abi- ja tugilehti. MetaversePost on pühendunud täpsele ja erapooletule aruandlusele, kuid turutingimusi võidakse ette teatamata muuta.
Umbes Autor
Damir on ettevõtte meeskonnajuht, tootejuht ja toimetaja Metaverse Post, mis hõlmab selliseid teemasid nagu AI/ML, AGI, LLM-id, Metaverse ja Web3-seotud väljad. Tema artiklid meelitavad igal kuul tohutut vaatajaskonda, üle miljoni kasutaja. Ta näib olevat ekspert, kellel on 10-aastane SEO ja digitaalse turunduse kogemus. Damirit on mainitud ajakirjades Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muud väljaanded. Ta reisib digitaalse nomaadina AÜE, Türgi, Venemaa ja SRÜ vahel. Damir omandas bakalaureusekraadi füüsikas, mis on tema arvates andnud talle kriitilise mõtlemise oskused, mida on vaja pidevalt muutuval Interneti-maastikul edukaks saamiseks.
Veel artikleid
Damir on ettevõtte meeskonnajuht, tootejuht ja toimetaja Metaverse Post, mis hõlmab selliseid teemasid nagu AI/ML, AGI, LLM-id, Metaverse ja Web3-seotud väljad. Tema artiklid meelitavad igal kuul tohutut vaatajaskonda, üle miljoni kasutaja. Ta näib olevat ekspert, kellel on 10-aastane SEO ja digitaalse turunduse kogemus. Damirit on mainitud ajakirjades Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muud väljaanded. Ta reisib digitaalse nomaadina AÜE, Türgi, Venemaa ja SRÜ vahel. Damir omandas bakalaureusekraadi füüsikas, mis on tema arvates andnud talle kriitilise mõtlemise oskused, mida on vaja pidevalt muutuval Interneti-maastikul edukaks saamiseks.
