Texas-forskere foreslår ny metode til at rekonstruere tekst baseret på hjerne-MR-signaler og AI
Kort sagt
University of Texas har foreslået en ny metode til at rekonstruere den tekst, som en person hører, baseret på et MR-hjernesignal.
Metoden går ud på at træne et encoder-netværk til at gendanne MR-billedet af hjernen svarende til teksten og bruge præ-trænede sprogmodeller til at generere muligheder for at fortsætte teksten.
Statistisk genererede tekster er tættere på originalen end tilfældige og kan bruges til at udforske funktionerne i forskellige dele af hjernen.
Forskere fra University of Texas har foreslået en ny metode til at genskabe tekst fra et MR-hjernesignal. Endvidere sker afkodning i en sammenhængende tekst, der semantisk ligner den virkelige.
Det er tidligere blevet forsøgt at afkode tekst, som en person hører (eller siger i hovedet). Afhængigt af hvordan signalet tages ud af hjernen, er der to forskellige tilgange. Signaludvinding i invasionsstil er den første: En chip, der læser impulser direkte fra hjernen neuroner er placeret i en persons kranium. Metoden er invasiv, dyr og kompliceret. Ikke-invasive signalekstraktionsteknikker, herunder MRI og M/EEG, er den anden mulighed; de kræver ingen boring og er billigere.
Ikke-invasive teknikker til indsamling af hjernesignaler har dog en alvorlig fejl: en persons MR-aflæsninger påvirkes af denne stimulus i cirka 10 sekunder efter eksponering for en stimulus (såsom at høre et ord). En indfødt engelsk kan i gennemsnit sige to ord i sekundet. Det viser sig, at hvert MR-billede indeholder data om, at hjernen behandler omkring tyve ord, hvis du optager et MR-signal, mens du lytter til engelsktalende.
Som et resultat, ved hjælp af MR, er det umuligt trofast at genskabe den tekst, som en person hører. Derudover har mange tidligere undersøgelser om emnet tekstgendannelse fra hjernesignaler indsamlet ved hjælp af ikke-invasive teknikker kun lykkedes at hente specifikke ord og sætninger.
Og Texas-forskerne udviklede en MRI-teknik til at rekonstruere (næsten) forståelig tekst. Der vil være en vis variation mellem denne tekst og det, personen faktisk har hørt. Det vil dog være semantisk ækvivalent, hvilket betyder, at det vil repræsentere den fortolkning, der normalt accepteres.
For at genoprette MR af hjernen, der er forbundet med denne passage af tekst, træner forskere kodernetværket, som lærer af et stykke tekst. Brug derefter en forudtrænet sprogmodel (som f.eks GPT), udfører forskere følgende trin:
- spørger forskere GPT at skabe talrige muligheder for at fremføre teksten hvert andet sekund. Indkodernetværket modtager disse mange muligheder og forsøger at bruge dem til at gendanne det nuværende MRI-billede. Vi mener, at den tekstversion, der muliggjorde den mest nøjagtige repræsentation af det ægte MR-signal, er den nøjagtige.
Her er et eksempel:
| Original input | Generation output |
| Jeg vidste ikke, om jeg skulle skrige, græde eller stikke af. I stedet sagde jeg: "Lad mig være i fred; Jeg har ikke brug for din hjælp." Adam forsvandt, og jeg ryddede op alene, grædende. | Jeg begyndte at skrige og græde, og så sagde hun bare, jeg sagde, at du skulle lade mig være; du kan ikke såre mig mere. Jeg er ked af det,” og så stormede han af sted. Selvom jeg troede, han var gået, begyndte jeg at græde. |
Denne teknologi vil have mange anvendelsesmuligheder, hvis du bruger den til at lave tale i stedet for at lytte til andres optagelser. Selv rekonstruktionen af fiktiv tale var genstand for et eksperiment af artiklens forfattere. Endnu en gang viste de endelige tekster sig at ligne originalerne mere end tilfældige. Tilgangen ser ud til at virke.
Og ved hjælp af sådanne modeller kan du undersøge operationerne i forskellige hjerneregioner. I denne undersøgelse blev tre separate områder af hjernen, der håndterer hørbar tale, brugt til at generere MR-signalet. Man kan lære, hvilken del af informationen, der behandles af hvilket område af hjernen, ved at tilføje og eliminere signaler fra forskellige dele af hjernen fra modellens input. Derudover kan du kontrastere rekonstruktioner af encodermodellen lavet ved hjælp af signaler fra andre komponenter.
Læs mere om AI:
Ansvarsfraskrivelse
I tråd med den Trust Project retningslinjer, bemærk venligst, at oplysningerne på denne side ikke er beregnet til at være og ikke skal fortolkes som juridiske, skattemæssige, investeringsmæssige, finansielle eller nogen anden form for rådgivning. Det er vigtigt kun at investere, hvad du har råd til at tabe, og at søge uafhængig finansiel rådgivning, hvis du er i tvivl. For yderligere information foreslår vi at henvise til vilkårene og betingelserne samt hjælpe- og supportsiderne fra udstederen eller annoncøren. MetaversePost er forpligtet til nøjagtig, objektiv rapportering, men markedsforholdene kan ændres uden varsel.
Om forfatteren
Damir er teamleder, produktchef og redaktør på Metaverse Post, der dækker emner som AI/ML, AGI, LLM'er, Metaverse og Web3-relaterede felter. Hans artikler tiltrækker et massivt publikum på over en million brugere hver måned. Han ser ud til at være en ekspert med 10 års erfaring i SEO og digital markedsføring. Damir er blevet nævnt i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto og andre publikationer. Han rejser mellem UAE, Tyrkiet, Rusland og SNG som en digital nomade. Damir tog en bachelorgrad i fysik, som han mener har givet ham de kritiske tænkningskompetencer, der er nødvendige for at få succes i internettets evigt skiftende landskab.
Flere artikler
Damir er teamleder, produktchef og redaktør på Metaverse Post, der dækker emner som AI/ML, AGI, LLM'er, Metaverse og Web3-relaterede felter. Hans artikler tiltrækker et massivt publikum på over en million brugere hver måned. Han ser ud til at være en ekspert med 10 års erfaring i SEO og digital markedsføring. Damir er blevet nævnt i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto og andre publikationer. Han rejser mellem UAE, Tyrkiet, Rusland og SNG som en digital nomade. Damir tog en bachelorgrad i fysik, som han mener har givet ham de kritiske tænkningskompetencer, der er nødvendige for at få succes i internettets evigt skiftende landskab.
