Vedci z Texasu navrhujú novú metódu na rekonštrukciu textu na základe signálov MRI mozgu a AI
Stručne
Texaská univerzita navrhla novú metódu na rekonštrukciu textu, ktorý človek počuje na základe signálu z MRI mozgu.
Metóda zahŕňa trénovanie siete kódovačov na obnovenie MRI obrazu mozgu zodpovedajúceho textu a použitie vopred pripravených jazykových modelov na generovanie možností pre pokračovanie textu.
Štatisticky generované texty sú bližšie k originálu ako náhodné a dajú sa použiť na skúmanie funkcií rôznych častí mozgu.
Vedci z Texaskej univerzity navrhli novú metódu na opätovné vytvorenie textu zo signálu MRI mozgu. Okrem toho k dekódovaniu dochádza v súvislom texte sémanticky podobnom skutočnému.
Už predtým sme sa pokúšali dekódovať text, ktorý človek počuje (alebo hovorí v hlave). V závislosti od toho, ako sa signál dostane z mozgu, existujú dva rôzne prístupy. Extrakcia signálu v štýle invázie je prvá: čip, ktorý číta impulzy priamo z mozgu neuróny sú umiestnené v lebke človeka. Metóda je invazívna, drahá a komplikovaná. Druhou možnosťou sú neinvazívne techniky extrakcie signálu, vrátane MRI a M/EEG; nevyžadujú žiadne vŕtanie a sú lacnejšie.
Neinvazívne techniky na zhromažďovanie mozgových signálov však majú jednu vážnu chybu: hodnoty MRI osoby sú ovplyvnené týmto stimulom približne 10 sekúnd po vystavení stimulu (ako je počutie slova). Anglický rodák dokáže povedať v priemere dve slová za sekundu. Ukazuje sa, že každý obraz MRI obsahuje údaje o mozgu, ktorý spracováva približne dvadsať slov, ak zaznamenáte signál MRI pri počúvaní anglicky hovoriacich osôb.
Výsledkom je, že pomocou MRI nie je možné verne znovu vytvoriť text, ktorý človek počuje. Navyše, mnoho skorších štúdií na tému obnovy textu zo signálov mozgu získaných pomocou neinvazívnych techník uspelo iba pri získavaní konkrétnych slov a fráz.
A texaskí vedci vyvinuli techniku MRI na rekonštrukciu (takmer) zrozumiteľného textu. Medzi týmto textom a tým, čo daná osoba skutočne počula, budú určité rozdiely. Bude však sémanticky ekvivalentný, čo znamená, že bude predstavovať interpretáciu, ktorá sa zvyčajne prijíma.
Na obnovenie MRI mozgu spojeného s touto pasážou textu výskumníci trénujú sieť kódovačov, ktorá sa učí z kúsku textu. Potom pomocou vopred vyškoleného jazykového modelu (ako napr GPT), výskumníci vykonávajú tieto kroky:
- Pýtajú sa výskumníci GPT vytvoriť množstvo možností na posúvanie textu každé dve sekundy. Sieť kódovača prijíma tieto mnohé možnosti a pokúša sa ich použiť na obnovenie aktuálneho obrazu MRI. Myslíme si, že textová verzia, ktorá umožnila čo najpresnejšiu reprezentáciu pravého signálu MRI, je presná.
Tu je príklad:
| Pôvodný vstup | Generačný výstup |
| Nevedela som, či mám kričať, plakať alebo utiecť. Namiesto toho som povedal: „Nechaj ma na pokoji; Nepotrebujem tvoju pomoc." Adam zmizol a ja som s plačom upratovala sama. | Začal som kričať a plakať, a potom len povedala: Povedal som ti, aby si ma nechal na pokoji; už mi nemôžeš ublížiť. Je mi to ľúto,“ a potom sa rozbehol. Aj keď som si myslela, že odišiel, začala som plakať. |
Táto technológia bude mať mnoho využití, ak ju použijete na vymýšľanie reči namiesto počúvania nahrávok iných ľudí. Dokonca aj rekonštrukcia fiktívnej reči bola predmetom experimentu autorov článku. Opäť sa ukázalo, že konečné texty sú viac podobné originálom ako náhodné. Zdá sa, že prístup funguje.
A pomocou takýchto modelov môžete skúmať operácie rôznych oblastí mozgu. V tejto štúdii sa na generovanie signálu MRI použili tri samostatné oblasti mozgu, ktoré zvládajú počuteľnú reč. Dá sa zistiť, ktorá časť informácií je spracovávaná ktorou oblasťou mozgu pridávaním a odstraňovaním signálov z rôznych častí mozgu zo vstupu modelu. Okrem toho môžete porovnávať rekonštrukcie modelu kódovača vytvorené pomocou signálov z iných komponentov.
Prečítajte si viac o AI:
Vylúčenie zodpovednosti
V súlade s Pokyny k projektu Trust, uvedomte si, že informácie uvedené na tejto stránke nie sú zamýšľané a nemali by byť interpretované ako právne, daňové, investičné, finančné alebo iné formy poradenstva. Je dôležité investovať len toľko, koľko si môžete dovoliť stratiť a v prípade akýchkoľvek pochybností vyhľadať nezávislé finančné poradenstvo. Ak chcete získať ďalšie informácie, odporúčame vám pozrieť si zmluvné podmienky, ako aj stránky pomoci a podpory poskytnuté vydavateľom alebo inzerentom. MetaversePost sa zaviazala poskytovať presné a nezaujaté správy, ale podmienky na trhu sa môžu zmeniť bez upozornenia.
O autorovi
Damir je vedúci tímu, produktový manažér a redaktor v Metaverse Post, pokrývajúce témy ako AI/ML, AGI, LLM, Metaverse a Web3- súvisiace oblasti. Jeho články priťahujú každý mesiac obrovské publikum s viac ako miliónom používateľov. Zdá sa, že je odborníkom s 10-ročnými skúsenosťami v oblasti SEO a digitálneho marketingu. Damir bol spomenutý v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a ďalšie publikácie. Ako digitálny nomád cestuje medzi SAE, Tureckom, Ruskom a SNŠ. Damir získal bakalársky titul z fyziky, o ktorom sa domnieva, že mu dal schopnosti kritického myslenia potrebné na to, aby bol úspešný v neustále sa meniacom prostredí internetu.
Ďalšie články
Damir je vedúci tímu, produktový manažér a redaktor v Metaverse Post, pokrývajúce témy ako AI/ML, AGI, LLM, Metaverse a Web3- súvisiace oblasti. Jeho články priťahujú každý mesiac obrovské publikum s viac ako miliónom používateľov. Zdá sa, že je odborníkom s 10-ročnými skúsenosťami v oblasti SEO a digitálneho marketingu. Damir bol spomenutý v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a ďalšie publikácie. Ako digitálny nomád cestuje medzi SAE, Tureckom, Ruskom a SNŠ. Damir získal bakalársky titul z fyziky, o ktorom sa domnieva, že mu dal schopnosti kritického myslenia potrebné na to, aby bol úspešný v neustále sa meniacom prostredí internetu.
