Texasin tutkijat ehdottavat uutta menetelmää tekstin rekonstruoimiseksi aivojen MRI-signaalien ja tekoälyn perusteella
Lyhyesti
Texasin yliopisto on ehdottanut uutta menetelmää ihmisen kuuleman tekstin rekonstruoimiseksi MRI-aivosignaalin perusteella.
Menetelmässä opetetaan enkooderiverkkoa palauttamaan tekstiä vastaava aivojen MRI-kuva ja esiopetettujen kielimallien avulla luodaan vaihtoehtoja tekstin jatkamiseen.
tilastollisesti luodut tekstit ovat lähempänä alkuperäistä kuin satunnaiset ja niillä voidaan tutkia aivojen eri osien toimintoja.
Texasin yliopiston tutkijat ovat ehdottaneet uutta menetelmää tekstin luomiseksi uudelleen MRI-aivosignaalista. Lisäksi dekoodaus tapahtuu koherentissa tekstissä, joka on semanttisesti samanlainen kuin todellinen teksti.
Aiemmin on yritetty purkaa tekstiä, jonka ihminen kuulee (tai sanoo päässään). Riippuen siitä, kuinka signaali viedään pois aivoista, on olemassa kaksi erilaista lähestymistapaa. Invasion-tyylinen signaalinpoisto on ensimmäinen: siru, joka lukee impulsseja suoraan aivoista neuronit sijoitetaan ihmisen kalloon. Menetelmä on invasiivinen, kallis ja monimutkainen. Ei-invasiiviset signaalinpoistotekniikat, mukaan lukien MRI ja M/EEG, ovat toinen vaihtoehto; ne eivät vaadi porausta ja ovat halvempia.
Ei-invasiivisilla tekniikoilla aivosignaalien keräämiseksi on kuitenkin yksi vakava puute: tämä ärsyke vaikuttaa henkilön MRI-lukemiin noin 10 sekunnin ajan ärsykkeelle altistumisesta (kuten sanan kuulemisesta). Englantilainen voi sanoa keskimäärin kaksi sanaa sekunnissa. Osoittautuu, että jokainen MRI-kuva sisältää tietoja aivoista, jotka käsittelevät noin XNUMX sanaa, jos tallennat MRI-signaalia kuunnellessasi englanninkielisiä.
Tämän seurauksena MRI:n avulla on mahdotonta luoda uskollisesti uudelleen tekstiä, jonka henkilö kuulee. Lisäksi monet aiemmat tutkimukset tekstin palautumisesta aivosignaaleista, jotka on kerätty noninvasiivisilla tekniikoilla, onnistuivat vain hakemaan tiettyjä sanoja ja lauseita.
Ja Texasin tutkijat kehittivät MRI-tekniikan rekonstruoidakseen (melkein) ymmärrettävän tekstin. Tämän tekstin ja sen välillä, mitä henkilö todella kuuli, on jonkin verran vaihtelua. Se on kuitenkin semanttisesti ekvivalentti, mikä tarkoittaa, että se edustaa yleensä hyväksyttyä tulkintaa.
Tähän tekstikohtaan liittyvän aivojen MRI:n palauttamiseksi tutkijat kouluttavat enkooderiverkkoa, joka oppii tekstinpalasta. Sitten käyttämällä esikoulutettua kielimallia (esim GPT), tutkijat suorittavat seuraavat vaiheet:
- Tutkijat kysyvät GPT luoda lukuisia mahdollisuuksia tekstin siirtämiseen kahden sekunnin välein. Enkooderiverkko vastaanottaa nämä monet vaihtoehdot ja yrittää käyttää niitä nykyisen MRI-kuvan palauttamiseen. Mielestämme tekstiversio, joka mahdollisti aidon MRI-signaalin tarkimman esityksen, on oikea.
Tässä on esimerkki:
| Alkuperäinen syöttö | Sukupolven lähtö |
| En tiennyt, pitäisikö huutaa, itkeä vai paeta. Sen sijaan sanoin: "Jätä minut rauhaan; En tarvitse apuasi." Adam katosi, ja minä siivosin yksin itkien. | Aloin huutaa ja itkeä, ja sitten hän vain sanoi: Käskin sinun jättää minut rauhaan; et voi satuttaa minua enää. Olen pahoillani”, ja sitten hän ryntäsi pois. Vaikka luulin hänen lähteneen, aloin itkeä. |
Tällä tekniikalla on monia käyttötarkoituksia, jos käytät sitä puheen muodostamiseen sen sijaan, että kuuntelet muiden ihmisten äänitteitä. Jopa kuvitteellisen puheen rekonstruointi oli artikkelin tekijöiden kokeilun kohteena. Lopulliset tekstit osoittautuivat jälleen kerran samanlaisiksi kuin alkuperäiset kuin satunnaiset. Lähestymistapa näyttää toimivan.
Ja tällaisten mallien avulla voit tutkia eri aivoalueiden toimintaa. Tässä tutkimuksessa MRI-signaalin tuottamiseen käytettiin kolmea erillistä aivojen aluetta, jotka käsittelevät kuuluvaa puhetta. Voit oppia, mitä osaa tiedosta mikä aivojen alue käsittelee lisäämällä ja poistamalla signaaleja aivojen eri osista mallin syötteestä. Lisäksi voit verrata enkooderimallin rekonstruktioita, jotka on tehty käyttämällä muiden komponenttien signaaleja.
Lue lisää tekoälystä:
Vastuun kieltäminen
Mukaisesti Luottamusprojektin ohjeetHuomaa, että tällä sivulla annettuja tietoja ei ole tarkoitettu eikä niitä tule tulkita oikeudellisiksi, verotukselliseksi, sijoitus-, rahoitus- tai minkään muun muodon neuvoiksi. On tärkeää sijoittaa vain sen verran, mitä sinulla on varaa menettää, ja pyytää riippumatonta talousneuvontaa, jos sinulla on epäilyksiä. Lisätietoja saat käyttöehdoista sekä myöntäjän tai mainostajan tarjoamista ohje- ja tukisivuista. MetaversePost on sitoutunut tarkkaan, puolueettomaan raportointiin, mutta markkinaolosuhteet voivat muuttua ilman erillistä ilmoitusta.
Author
Damir on tiimin johtaja, tuotepäällikkö ja toimittaja osoitteessa Metaverse Post, kattaa aiheita, kuten AI/ML, AGI, LLMs, Metaverse ja Web3- liittyvät kentät. Hänen artikkelinsa houkuttelevat yli miljoonan käyttäjän massiivisen yleisön joka kuukausi. Hän näyttää olevan asiantuntija, jolla on 10 vuoden kokemus hakukoneoptimoinnista ja digitaalisesta markkinoinnista. Damir on mainittu Mashablessa, Wiredissä, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muut julkaisut. Hän matkustaa Arabiemiirikuntien, Turkin, Venäjän ja IVY-maiden välillä digitaalisena nomadina. Damir suoritti kandidaatin tutkinnon fysiikasta, jonka hän uskoo antaneen hänelle kriittisen ajattelun taidot menestyäkseen jatkuvasti muuttuvassa internetin maisemassa.
lisää artikkeleita
Damir on tiimin johtaja, tuotepäällikkö ja toimittaja osoitteessa Metaverse Post, kattaa aiheita, kuten AI/ML, AGI, LLMs, Metaverse ja Web3- liittyvät kentät. Hänen artikkelinsa houkuttelevat yli miljoonan käyttäjän massiivisen yleisön joka kuukausi. Hän näyttää olevan asiantuntija, jolla on 10 vuoden kokemus hakukoneoptimoinnista ja digitaalisesta markkinoinnista. Damir on mainittu Mashablessa, Wiredissä, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muut julkaisut. Hän matkustaa Arabiemiirikuntien, Turkin, Venäjän ja IVY-maiden välillä digitaalisena nomadina. Damir suoritti kandidaatin tutkinnon fysiikasta, jonka hän uskoo antaneen hänelle kriittisen ajattelun taidot menestyäkseen jatkuvasti muuttuvassa internetin maisemassa.
