Texas-forskare föreslår ny metod för att rekonstruera text baserat på hjärn-MRI-signaler och AI
I korthet
University of Texas har föreslagit en ny metod för att rekonstruera texten som en person hör baserat på en MRI-hjärnsignal.
Metoden går ut på att träna ett kodarnätverk för att återställa den MR-bild av hjärnan som motsvarar texten, och att använda förtränade språkmodeller för att generera alternativ för att fortsätta texten.
Statistiskt genererade texter är närmare originalet än slumpmässiga och kan användas för att utforska funktionerna i olika delar av hjärnan.
Forskare från University of Texas har föreslagit en ny metod för att återskapa text från en MRT-hjärnsignal. Vidare sker avkodning i en sammanhängande text som semantiskt liknar den verkliga.
Det har försökts tidigare att avkoda text som en person hör (eller säger i huvudet). Beroende på hur signalen tas ut ur hjärnan finns det två olika tillvägagångssätt. Invasionsliknande signalextraktion är den första: Ett chip som läser impulser direkt från hjärnan neuroner placeras i en persons kranium. Metoden är invasiv, dyr och komplicerad. Icke-invasiva signalextraktionstekniker, inklusive MRI och M/EEG, är det andra alternativet; de kräver ingen borrning och är billigare.
Men icke-invasiva tekniker för att samla hjärnsignaler har ett allvarligt fel: en persons MRT-avläsningar påverkas av den stimulansen i ungefär 10 sekunder efter exponering för en stimulus (som att höra ett ord). En engelsk infödd kan säga två ord per sekund i genomsnitt. Det visar sig att varje MR-bild innehåller data om hjärnan som bearbetar ungefär tjugo ord om du spelar in en MR-signal medan du lyssnar på engelsktalande.
Som ett resultat, med hjälp av MRI, är det omöjligt att troget återskapa texten som en person hör. Dessutom har många tidigare studier på ämnet textåterställning från hjärnsignaler som samlats in med hjälp av icke-invasiva tekniker bara lyckats hämta specifika ord och fraser.
Och forskarna från Texas utvecklade en MRT-teknik för att rekonstruera (nästan) begriplig text. Det kommer att finnas en viss variation mellan denna text och vad personen faktiskt hörde. Det kommer dock att vara semantiskt ekvivalent, vilket innebär att det kommer att representera den tolkning som vanligtvis accepteras.
För att återställa den MRI av hjärnan som är förknippad med denna textpassage tränar forskare kodarnätverket, som lär sig av ett stycke text. Använd sedan en förtränad språkmodell (t.ex GPT), utför forskare följande steg:
- frågar forskare GPT för att skapa många möjligheter för att flytta fram texten varannan sekund. Kodarnätverket tar emot dessa många alternativ och försöker använda dem för att återställa den nuvarande MRI-bilden. Vi tror att textversionen som möjliggjorde den mest exakta representationen av den äkta MRI-signalen är den korrekta.
Här är ett exempel:
| Original ingång | Generation Output |
| Jag visste inte om jag skulle skrika, gråta eller fly. Istället sa jag: ”Lämna mig ifred; Jag behöver inte din hjälp." Adam försvann och jag städade ensam, gråtande. | Jag började skrika och gråta, och då sa hon bara, jag sa åt dig att lämna mig ifred; du kan inte skada mig längre. Jag är ledsen”, och sedan stormade han iväg. Även om jag trodde att han hade gått, började jag gråta. |
Denna teknik kommer att ha många användningsområden om du använder den för att skapa tal istället för att lyssna på andras inspelningar. Även rekonstruktionen av fiktivt tal var föremål för ett experiment av artikelförfattarna. Än en gång visade sig de slutliga texterna vara mer lika originalen än slumpmässiga. Tillvägagångssättet verkar fungera.
Och med hjälp av sådana modeller kan du undersöka verksamheten i olika hjärnregioner. I denna studie användes tre separata regioner i hjärnan som hanterar hörbart tal för att generera MRI-signalen. Man kan lära sig vilken del av informationen som bearbetas av vilket område av hjärnan genom att lägga till och eliminera signaler från olika delar av hjärnan från modellens input. Dessutom kan du kontrastera rekonstruktioner av kodarmodellen gjorda med hjälp av signaler från andra komponenter.
Läs mer om AI:
Villkor
I linje med den Riktlinjer för Trust Project, vänligen notera att informationen på den här sidan inte är avsedd att vara och inte ska tolkas som juridisk, skattemässig, investerings-, finansiell eller någon annan form av rådgivning. Det är viktigt att bara investera det du har råd att förlora och att söka oberoende finansiell rådgivning om du har några tvivel. För ytterligare information föreslår vi att du hänvisar till villkoren samt hjälp- och supportsidorna som tillhandahålls av utfärdaren eller annonsören. MetaversePost är engagerad i korrekt, opartisk rapportering, men marknadsförhållandena kan ändras utan föregående meddelande.
Om författaren
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
fler artiklar
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
