Texasští vědci navrhují novou metodu pro rekonstrukci textu na základě signálů MRI mozku a umělé inteligence
Stručně
Texaská univerzita navrhla novou metodu pro rekonstrukci textu, který člověk slyší, na základě signálu z MRI mozku.
Metoda zahrnuje trénování sítě kodéru pro obnovení MRI obrazu mozku odpovídajícího textu a použití předem trénovaných jazykových modelů pro generování možností pro pokračování textu.
Statisticky generované texty jsou blíže originálu než náhodné a lze je použít ke zkoumání funkcí různých částí mozku.
Vědci z Texaské univerzity navrhli novou metodu pro znovuvytvoření textu z MRI signálu mozku. Dále k dekódování dochází v koherentním textu sémanticky podobném tomu skutečnému.
Již dříve se pokoušelo dekódovat text, který člověk slyší (nebo říká v hlavě). V závislosti na tom, jak je signál vyveden z mozku, existují dva různé přístupy. Extrakce signálu ve stylu invaze je první: čip, který čte impulsy přímo z mozku neurony jsou umístěny v lebce člověka. Metoda je invazivní, drahá a komplikovaná. Druhou možností jsou neinvazivní techniky extrakce signálu, včetně MRI a M/EEG; nevyžadují žádné vrtání a jsou levnější.
Neinvazivní techniky pro shromažďování mozkových signálů však mají jednu vážnou chybu: hodnoty MRI osoby jsou ovlivněny tímto stimulem po dobu zhruba 10 sekund po vystavení stimulu (jako je slyšení slova). Anglický rodák může říct v průměru dvě slova za sekundu. Ukázalo se, že každý snímek z magnetické rezonance obsahuje údaje o mozku zpracovávajícím zhruba dvacet slov, pokud zaznamenáte signál MRI při poslechu anglicky mluvících lidí.
Výsledkem je, že pomocí MRI není možné věrně znovu vytvořit text, který člověk slyší. Navíc mnoho dřívějších studií na téma obnovy textu z mozkových signálů shromážděných pomocí neinvazivních technik uspělo pouze při získávání konkrétních slov a frází.
A texaští vědci vyvinuli techniku MRI pro rekonstrukci (téměř) srozumitelného textu. Mezi tímto textem a tím, co dotyčná osoba skutečně slyšela, budou určité rozdíly. Bude však sémanticky ekvivalentní, což znamená, že bude představovat výklad, který je obvykle přijímán.
Aby získali MRI mozku spojenou s touto pasáží textu, vědci trénují síť kodéru, která se učí z kusu textu. Poté pomocí předem trénovaného jazykového modelu (např GPT), výzkumníci provádějí následující kroky:
- Ptají se výzkumníci GPT vytvořit četné možnosti pro posun textu každé dvě sekundy. Síť kodéru obdrží tyto možnosti a pokusí se je použít k obnovení současného obrazu MRI. Myslíme si, že textová verze, která umožňovala nejpřesnější vyjádření skutečného signálu MRI, je správná.
Zde je příklad:
| Původní vstup | Generační výstup |
| Nevěděl jsem, jestli mám křičet, plakat nebo utéct. Místo toho jsem řekl: „Nech mě být; Nepotřebuji tvou pomoc." Adam zmizel a já s pláčem uklízela sama. | Začal jsem křičet a plakat, a pak jen řekla: Řekl jsem ti, abys mě nechal na pokoji; už mi nemůžeš ublížit. Omlouvám se,“ a pak vyrazil. I když jsem si myslel, že odešel, začal jsem brečet. |
Tato technologie bude mít mnoho využití, pokud ji použijete k vymýšlení řeči místo poslechu nahrávek jiných lidí. I rekonstrukce fiktivní řeči byla předmětem experimentu autorů článku. Opět se ukázalo, že konečné texty jsou více podobné originálům než náhodné. Zdá se, že přístup funguje.
A s pomocí takových modelů můžete zkoumat operace různých oblastí mozku. V této studii byly ke generování signálu MRI použity tři samostatné oblasti mozku, které zvládají slyšitelnou řeč. Lze se naučit, která část informací je zpracována kterou oblastí mozku přidáním a odstraněním signálů z různých částí mozku ze vstupu modelu. Navíc můžete porovnat rekonstrukce modelu kodéru vytvořené pomocí signálů z jiných komponent.
Přečtěte si více o AI:
Odmítnutí odpovědnosti
V souladu s Pokyny k projektu Trust, prosím vezměte na vědomí, že informace uvedené na této stránce nejsou určeny a neměly by být vykládány jako právní, daňové, investiční, finanční nebo jakékoli jiné formy poradenství. Je důležité investovat jen to, co si můžete dovolit ztratit, a v případě pochybností vyhledat nezávislé finanční poradenství. Pro další informace doporučujeme nahlédnout do smluvních podmínek a také na stránky nápovědy a podpory poskytnuté vydavatelem nebo inzerentem. MetaversePost se zavázala poskytovat přesné a nezaujaté zprávy, ale podmínky na trhu se mohou bez upozornění změnit.
O autorovi
Damir je vedoucí týmu, produktový manažer a editor ve společnosti Metaverse Post, pokrývající témata jako AI/ML, AGI, LLM, Metaverse a Web3- související obory. Jeho články přitahují každý měsíc masivní publikum čítající více než milion uživatelů. Jeví se jako odborník s 10 lety zkušeností v oblasti SEO a digitálního marketingu. Damir byl zmíněn v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a další publikace. Jako digitální nomád cestuje mezi SAE, Tureckem, Ruskem a SNS. Damir získal bakalářský titul z fyziky, o kterém se domnívá, že mu dal dovednosti kritického myšlení potřebné k úspěchu v neustále se měnícím prostředí internetu.
Další články
Damir je vedoucí týmu, produktový manažer a editor ve společnosti Metaverse Post, pokrývající témata jako AI/ML, AGI, LLM, Metaverse a Web3- související obory. Jeho články přitahují každý měsíc masivní publikum čítající více než milion uživatelů. Jeví se jako odborník s 10 lety zkušeností v oblasti SEO a digitálního marketingu. Damir byl zmíněn v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a další publikace. Jako digitální nomád cestuje mezi SAE, Tureckem, Ruskem a SNS. Damir získal bakalářský titul z fyziky, o kterém se domnívá, že mu dal dovednosti kritického myšlení potřebné k úspěchu v neustále se měnícím prostředí internetu.
