Onderzoekers uit Texas stellen een nieuwe methode voor voor het reconstrueren van tekst op basis van hersen-MRI-signalen en AI
In het kort
De Universiteit van Texas heeft een nieuwe methode voorgesteld om de tekst die iemand hoort te reconstrueren op basis van een MRI-hersensignaal.
De methode omvat het trainen van een encodernetwerk om het MRI-beeld van de hersenen dat overeenkomt met de tekst te herstellen, en het gebruik van vooraf getrainde taalmodellen om opties te genereren om de tekst voort te zetten.
statistisch gegenereerde teksten zijn dichter bij het origineel dan willekeurige en kunnen worden gebruikt om de functies van verschillende delen van de hersenen te verkennen.
Onderzoekers van de Universiteit van Texas hebben een nieuwe methode voorgesteld om tekst uit een MRI-hersensignaal te recreëren. Bovendien vindt decodering plaats in een coherente tekst die semantisch vergelijkbaar is met de echte.
Er is eerder geprobeerd om tekst te decoderen die een persoon hoort (of in zijn hoofd zegt). Afhankelijk van hoe het signaal uit de hersenen wordt gehaald, zijn er twee verschillende benaderingen. Signaalextractie in invasiestijl is de eerste: een chip die leest impulsen rechtstreeks uit de hersenen neuronen worden in iemands schedel geplaatst. De methode is invasief, prijzig en ingewikkeld. Niet-invasieve signaalextractietechnieken, waaronder MRI en M/EEG, zijn de tweede optie; ze vereisen geen boren en zijn minder duur.
Niet-invasieve technieken voor het verzamelen van hersensignalen hebben echter één ernstige tekortkoming: de MRI-metingen van een persoon worden beïnvloed door die stimulus gedurende ongeveer 10 seconden na blootstelling aan een stimulus (zoals het horen van een woord). Een Engelse moedertaal kan gemiddeld twee woorden per seconde zeggen. Het blijkt dat elk MRI-beeld gegevens bevat over de verwerking van ongeveer twintig woorden door de hersenen als je een MRI-signaal opneemt terwijl je luistert naar Engelstaligen.
Als gevolg hiervan is het met behulp van MRI onmogelijk om de tekst die een persoon hoort getrouw na te bootsen. Bovendien slaagden veel eerdere onderzoeken naar tekstherstel uit hersensignalen die met behulp van niet-invasieve technieken waren verzameld, er alleen in om specifieke woorden en zinsdelen op te halen.
En de onderzoekers uit Texas ontwikkelden een MRI-techniek om (bijna) verstaanbare tekst te reconstrueren. Er zal enige variatie zijn tussen deze tekst en wat de persoon daadwerkelijk heeft gehoord. Het zal echter semantisch equivalent zijn, wat betekent dat het de interpretatie vertegenwoordigt die gewoonlijk wordt aanvaard.
Om de MRI van de hersenen die verband houdt met deze tekstpassage te herstellen, trainen onderzoekers het encodernetwerk, dat leert van een stuk tekst. Vervolgens wordt met behulp van een vooraf getraind taalmodel (zoals GPT), voeren onderzoekers de volgende stappen uit:
- Onderzoekers vragen GPT om talloze mogelijkheden te creëren om de tekst elke twee seconden vooruit te laten gaan. Het encodernetwerk ontvangt deze vele opties en probeert deze te gebruiken om het huidige MRI-beeld te herstellen. We denken dat de tekstversie die de meest nauwkeurige weergave van het echte MRI-signaal mogelijk maakte, de juiste is.
Hier is een voorbeeld:
| Oorspronkelijke invoer | Generatie output |
| Ik wist niet of ik moest schreeuwen, huilen of wegrennen. In plaats daarvan zei ik: 'Laat me met rust; Ik heb je hulp niet nodig.” Adam verdween en ik ruimde alleen huilend op. | Ik begon te gillen en te huilen, en toen zei ze gewoon: ik heb je gezegd me met rust te laten; je kunt me geen pijn meer doen. Het spijt me,' en toen stormde hij weg. Hoewel ik dacht dat hij weg was, begon ik te huilen. |
Deze technologie zal veel toepassingen hebben als je het gebruikt om spraak te verzinnen in plaats van naar opnames van andere mensen te luisteren. Zelfs de reconstructie van fictieve spraak was het onderwerp van een experiment door de auteurs van het artikel. Eens te meer bleken de uiteindelijke teksten meer op de originelen te lijken dan willekeurige. De aanpak lijkt te werken.
En met behulp van zulke modellen kun je de werking van verschillende hersengebieden onderzoeken. In deze studie werden drie afzonderlijke hersengebieden die hoorbare spraak afhandelen, gebruikt om het MRI-signaal te genereren. Men kan leren welk deel van de informatie door welk deel van de hersenen wordt verwerkt door signalen uit verschillende delen van de hersenen toe te voegen aan en te elimineren uit de input van het model. Bovendien kunt u contrastreconstructies van het encodermodel maken met behulp van signalen van andere componenten.
Lees meer over AI:
Disclaimer
In lijn met de Richtlijnen voor vertrouwensprojectenHoud er rekening mee dat de informatie op deze pagina niet bedoeld is en niet mag worden geïnterpreteerd als juridisch, fiscaal, beleggings-, financieel of enige andere vorm van advies. Het is belangrijk om alleen te beleggen wat u zich kunt veroorloven te verliezen en onafhankelijk financieel advies in te winnen als u twijfels heeft. Voor meer informatie raden wij u aan de algemene voorwaarden en de hulp- en ondersteuningspagina's van de uitgever of adverteerder te raadplegen. MetaversePost streeft naar nauwkeurige, onpartijdige berichtgeving, maar de marktomstandigheden kunnen zonder voorafgaande kennisgeving worden gewijzigd.
Over de auteur
Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet.
Meer artikelen
Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet.
