Naukowcy z Teksasu proponują nową metodę rekonstrukcji tekstu w oparciu o sygnały MRI mózgu i sztuczną inteligencję
W skrócie
University of Texas zaproponował nową metodę rekonstrukcji tekstu, który słyszy dana osoba, na podstawie sygnału MRI mózgu.
Metoda obejmuje trenowanie sieci koderów w celu przywrócenia obrazu MRI mózgu odpowiadającego tekstowi oraz wykorzystanie wstępnie wyszkolonych modeli językowych do generowania opcji kontynuacji tekstu.
Statystycznie wygenerowane teksty są bliższe oryginałowi niż przypadkowe i mogą być wykorzystane do zbadania funkcji różnych części mózgu.
Naukowcy z University of Texas zaproponowali nową metodę odtwarzania tekstu z sygnału MRI mózgu. Ponadto dekodowanie odbywa się w spójnym tekście semantycznie zbliżonym do rzeczywistego.
Próbowano już wcześniej rozszyfrować tekst, który dana osoba słyszy (lub mówi w swojej głowie). W zależności od tego, w jaki sposób sygnał jest wyprowadzany z mózgu, istnieją dwa różne podejścia. Ekstrakcja sygnału w stylu inwazji jest pierwsza: chip, który odczytuje impulsy bezpośrednio z mózgu neuronów jest umieszczony w czaszce człowieka. Metoda jest inwazyjna, droga i skomplikowana. Drugą opcją są nieinwazyjne techniki ekstrakcji sygnału, w tym MRI i M/EEG; nie wymagają wiercenia i są tańsze.
Jednak nieinwazyjne techniki zbierania sygnałów mózgowych mają jedną poważną wadę: na odczyty MRI danej osoby wpływa ten bodziec przez około 10 sekund po ekspozycji na bodziec (taki jak usłyszenie słowa). Anglik jest w stanie wypowiedzieć średnio dwa słowa na sekundę. Okazuje się, że każdy obraz MRI zawiera dane o przetwarzaniu przez mózg około dwudziestu słów, jeśli zarejestrujesz sygnał MRI podczas słuchania anglojęzycznych.
W rezultacie za pomocą MRI niemożliwe jest wierne odtworzenie tekstu, który słyszy dana osoba. Ponadto w wielu wcześniejszych badaniach na temat odzyskiwania tekstu z sygnałów mózgowych zebranych przy użyciu nieinwazyjnych technik udało się odzyskać tylko określone słowa i frazy.
A naukowcy z Teksasu opracowali technikę MRI do rekonstrukcji (prawie) zrozumiałego tekstu. Będą pewne różnice między tym tekstem a tym, co dana osoba faktycznie usłyszała. Będzie jednak semantycznie równoważny, co oznacza, że będzie reprezentował interpretację, która jest zwykle akceptowana.
Aby odzyskać obraz MRI mózgu powiązany z tym fragmentem tekstu, badacze trenują sieć koderów, która uczy się na podstawie fragmentu tekstu. Następnie, używając wstępnie wytrenowanego modelu języka (takiego jak GPT), badacze wykonują następujące kroki:
- Badacze pytają GPT aby stworzyć liczne możliwości przesuwania tekstu co dwie sekundy. Sieć kodera otrzymuje te wiele opcji i próbuje je wykorzystać do odzyskania aktualnego obrazu MRI. Uważamy, że wersja tekstowa, która pozwoliła na najdokładniejsze przedstawienie oryginalnego sygnału MRI, jest dokładna.
Oto przykład:
| Oryginalne wejście | Wyjście generacji |
| Nie wiedziałam, czy krzyczeć, płakać, czy uciekać. Zamiast tego powiedziałem: „Zostaw mnie w spokoju; Nie potrzebuję twojej pomocy. Adam zniknął, a ja sama sprzątałam, płacząc. | Zacząłem krzyczeć i płakać, a ona po prostu powiedziała: „Powiedziałem ci, żebyś zostawił mnie w spokoju; nie możesz mnie już skrzywdzić. Przepraszam” i odszedł jak burza. Chociaż myślałam, że wyszedł, zaczęłam płakać. |
Ta technologia będzie miała wiele zastosowań, jeśli użyjesz jej do wymyślania mowy zamiast słuchania nagrań innych osób. Nawet rekonstrukcja fikcyjnej mowy była przedmiotem eksperymentu autorów artykułu. Po raz kolejny ostateczne teksty okazały się bardziej podobne do oryginałów niż przypadkowe. Podejście wydaje się działać.
A za pomocą takich modeli można badać działanie różnych regionów mózgu. W tym badaniu do wygenerowania sygnału MRI wykorzystano trzy oddzielne obszary mózgu, które obsługują słyszalną mowę. Można dowiedzieć się, która część informacji jest przetwarzana przez który obszar mózgu, dodając i eliminując sygnały z różnych części mózgu na wejściu modelu. Dodatkowo można skontrastować rekonstrukcje modelu enkodera wykonane za pomocą sygnałów z innych komponentów.
Przeczytaj więcej o sztucznej inteligencji:
Odpowiedzialność
Zgodnie z Zaufaj wytycznym projektu, należy pamiętać, że informacje zawarte na tej stronie nie mają na celu i nie powinny być interpretowane jako porady prawne, podatkowe, inwestycyjne, finansowe lub jakiekolwiek inne formy porad. Ważne jest, aby inwestować tylko tyle, na utratę czego możesz sobie pozwolić, a w przypadku jakichkolwiek wątpliwości zasięgnąć niezależnej porady finansowej. Aby uzyskać więcej informacji, sugerujemy zapoznać się z warunkami oraz stronami pomocy i wsparcia udostępnianymi przez wydawcę lub reklamodawcę. MetaversePost zobowiązuje się do sporządzania dokładnych i bezstronnych raportów, jednakże warunki rynkowe mogą ulec zmianie bez powiadomienia.
O autorze
Damir jest liderem zespołu, menedżerem produktu i redaktorem w Metaverse Post, obejmujący takie tematy, jak AI/ML, AGI, LLM, Metaverse i Web3-pokrewne pola. Jego artykuły przyciągają każdego miesiąca ogromną publiczność, liczącą ponad milion użytkowników. Wydaje się być ekspertem z 10-letnim doświadczeniem w SEO i marketingu cyfrowym. Damir został wspomniany w Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i inne publikacje. Jako cyfrowy koczownik podróżuje między ZEA, Turcją, Rosją i WNP. Damir uzyskał tytuł licencjata z fizyki, co jego zdaniem dało mu umiejętności krytycznego myślenia potrzebne do odniesienia sukcesu w ciągle zmieniającym się środowisku internetowym.
Więcej artykułów
Damir jest liderem zespołu, menedżerem produktu i redaktorem w Metaverse Post, obejmujący takie tematy, jak AI/ML, AGI, LLM, Metaverse i Web3-pokrewne pola. Jego artykuły przyciągają każdego miesiąca ogromną publiczność, liczącą ponad milion użytkowników. Wydaje się być ekspertem z 10-letnim doświadczeniem w SEO i marketingu cyfrowym. Damir został wspomniany w Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i inne publikacje. Jako cyfrowy koczownik podróżuje między ZEA, Turcją, Rosją i WNP. Damir uzyskał tytuł licencjata z fizyki, co jego zdaniem dało mu umiejętności krytycznego myślenia potrzebne do odniesienia sukcesu w ciągle zmieniającym się środowisku internetowym.
