Texasi kutatók új módszert javasolnak a szöveg rekonstrukciójára agyi MRI-jelek és AI alapján
Röviden
A Texasi Egyetem új módszert javasolt az ember által hallott szöveg rekonstruálására egy MRI agyi jel alapján.
A módszer magában foglalja egy kódoló hálózat betanítását, amely visszaállítja a szövegnek megfelelő agy MRI-képét, és előre betanított nyelvi modelleket használ a szöveg folytatásának lehetőségeinek generálására.
Statisztikusan generált szövegek közelebb állnak az eredetihez, mint a véletlenszerűek, és felhasználhatók az agy különböző részeinek funkcióinak feltárására.
A Texasi Egyetem kutatói új módszert javasoltak az MRI agyjelből származó szöveg újraalkotására. Ezenkívül a dekódolás a valódi szöveghez szemantikailag hasonló koherens szövegben történik.
Korábban már próbálkoztak olyan szöveg dekódolásával, amelyet egy személy hall (vagy fejben mond). Attól függően, hogy a jel hogyan kerül ki az agyból, két különböző megközelítés létezik. Az inváziós típusú jelkinyerés az első: egy chip, amely közvetlenül az agyból olvas impulzusokat neuronokat helyeznek el az ember koponyájába. A módszer invazív, drága és bonyolult. A nem invazív jelkinyerési technikák, beleértve az MRI-t és az M/EEG-t, a második lehetőség; nem igényelnek fúrást és olcsóbbak.
Az agyi jelek gyűjtésére szolgáló non-invazív technikáknak azonban van egy komoly hibája: az ingerület (például egy szó hallása) után nagyjából 10 másodpercig befolyásolja az adott személy MRI-leolvasásait. Egy angol anyanyelvű átlagosan két szót tud mondani másodpercenként. Kiderült, hogy minden MRI-kép tartalmaz adatokat arról, hogy az agy nagyjából húsz szót dolgoz fel, ha MRI-jelet rögzít angolul beszélők hallgatása közben.
Ennek eredményeként az MRI használatával lehetetlen hűen újra létrehozni a szöveget, amelyet egy személy hall. Ezen túlmenően, sok korábbi tanulmány az agyi jelekből származó, non-invazív technikákkal összegyűjtött szöveg-helyreállítás témájában csak bizonyos szavakat és kifejezéseket sikerült visszakeresni.
A texasi kutatók pedig kifejlesztettek egy MRI technikát a (majdnem) érthető szöveg rekonstruálására. Lesz némi eltérés ez a szöveg és aközött, amit a személy ténylegesen hallott. Azonban szemantikailag ekvivalens lesz, ami azt jelenti, hogy az általában elfogadott értelmezést fogja képviselni.
A szövegrészhez kapcsolódó agy MRI-vizsgálatának helyreállítása érdekében a kutatók kiképezik a kódoló hálózatot, amely egy szövegrészből tanul. Ezután egy előre betanított nyelvi modell segítségével (pl GPT), a kutatók a következő lépéseket hajtják végre:
- Kérdezik a kutatók GPT hogy számos lehetőséget teremtsen a szöveg két másodpercenkénti előmozdítására. A kódoló hálózat megkapja ezt a sok lehetőséget, és megpróbálja ezeket felhasználni a jelenlegi MRI-kép helyreállítására. Úgy gondoljuk, hogy az a szöveges verzió a pontos, amely lehetővé tette a valódi MRI-jel legpontosabb ábrázolását.
Íme egy példa:
| Eredeti bemenet | Generációs kimenet |
| Nem tudtam, sikoltozzak, sírjak, vagy meneküljek. Ehelyett azt mondtam: „Hagyj békén; Nincs szükségem a segítségedre." Adam eltűnt, én meg egyedül takarítottam sírva. | Sikoltozni és sírni kezdtem, aztán csak annyit mondott: Mondtam, hogy hagyj békén; nem bánthatsz többé. Sajnálom – majd elviharzott. Bár azt hittem, elment, sírni kezdtem. |
Ennek a technológiának számos haszna lesz, ha mások felvételeinek meghallgatása helyett beszéd létrehozására használja. Még a fiktív beszéd rekonstrukciója is a cikk szerzőinek kísérlete volt. A végleges szövegek ismételten jobban hasonlítottak az eredetihez, mint a véletlenszerű szövegekhez. Úgy tűnik, a megközelítés működik.
Az ilyen modellek segítségével pedig megvizsgálhatja a különböző agyi régiók működését. Ebben a tanulmányban az agy három különálló, hallható beszédet kezelő régióját használták az MRI-jel generálására. Megtudhatja, hogy az információ mely részét az agy melyik területe dolgozza fel, ha a modell bemenetén keresztül hozzáadja és kiiktatja az agy különböző részeiről érkező jeleket. Ezenkívül a kódolómodell más komponensekből származó jelek felhasználásával készült rekonstrukcióit is szembeállíthatja egymással.
Tudjon meg többet az AI-ról:
A felelősség megtagadása
Összhangban a A Trust Project irányelvei, kérjük, vegye figyelembe, hogy az ezen az oldalon közölt információk nem minősülnek jogi, adózási, befektetési, pénzügyi vagy bármilyen más formájú tanácsnak, és nem is értelmezhetők. Fontos, hogy csak annyit fektessen be, amennyit megengedhet magának, hogy elveszítsen, és kérjen független pénzügyi tanácsot, ha kétségei vannak. További információkért javasoljuk, hogy tekintse meg a szerződési feltételeket, valamint a kibocsátó vagy hirdető által biztosított súgó- és támogatási oldalakat. MetaversePost elkötelezett a pontos, elfogulatlan jelentéstétel mellett, de a piaci feltételek előzetes értesítés nélkül változhatnak.
A szerzőről
Damir a csapat vezetője, termékmenedzsere és szerkesztője Metaverse Post, olyan témákkal foglalkozik, mint az AI/ML, AGI, LLMs, Metaverse és Web3- kapcsolódó mezők. Cikkei havonta több mint egymillió felhasználót vonzanak. Úgy tűnik, szakértő, aki 10 éves tapasztalattal rendelkezik a SEO és a digitális marketing területén. Damirt a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto és más kiadványok. Digitális nomádként utazik az Egyesült Arab Emírségek, Törökország, Oroszország és a FÁK között. Damir fizikából szerzett bachelor-diplomát, és úgy gondolja, hogy ez megadta neki azokat a kritikus gondolkodási készségeket, amelyek szükségesek ahhoz, hogy sikeres legyen az internet folyamatosan változó táján.
További cikkek
Damir a csapat vezetője, termékmenedzsere és szerkesztője Metaverse Post, olyan témákkal foglalkozik, mint az AI/ML, AGI, LLMs, Metaverse és Web3- kapcsolódó mezők. Cikkei havonta több mint egymillió felhasználót vonzanak. Úgy tűnik, szakértő, aki 10 éves tapasztalattal rendelkezik a SEO és a digitális marketing területén. Damirt a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto és más kiadványok. Digitális nomádként utazik az Egyesült Arab Emírségek, Törökország, Oroszország és a FÁK között. Damir fizikából szerzett bachelor-diplomát, és úgy gondolja, hogy ez megadta neki azokat a kritikus gondolkodási készségeket, amelyek szükségesek ahhoz, hogy sikeres legyen az internet folyamatosan változó táján.
