Forscher aus Texas schlagen eine neue Methode zur Textrekonstruktion auf der Grundlage von MRT-Signalen des Gehirns und KI vor
In Kürze
Die University of Texas hat eine neue Methode zur Rekonstruktion des Textes, den eine Person hört, basierend auf einem MRT-Gehirnsignal vorgeschlagen.
Die Methode besteht darin, ein Encoder-Netzwerk zu trainieren, um das dem Text entsprechende MRT-Bild des Gehirns wiederherzustellen, und vorab trainierte Sprachmodelle zu verwenden, um Optionen für die Fortsetzung des Textes zu generieren.
Statistisch gesehen generierte Texte sind dem Original näher als zufällige und können zur Erforschung der Funktionen verschiedener Teile des Gehirns verwendet werden.
Forscher der University of Texas haben eine neue Methode zur Wiederherstellung von Text aus einem MRT-Gehirnsignal vorgeschlagen. Darüber hinaus erfolgt die Dekodierung in einem kohärenten Text, der semantisch dem echten Text ähnelt.
Es wurde schon früher versucht, Text zu entschlüsseln, den eine Person hört (oder in ihrem Kopf sagt). Je nachdem, wie das Signal aus dem Gehirn entnommen wird, gibt es zwei unterschiedliche Ansätze. Die Signalextraktion im Invasionsstil ist die erste: Ein Chip, der liest Impulse direkt vom Gehirn Neuronen werden im Schädel einer Person platziert. Die Methode ist invasiv, teuer und kompliziert. Nicht-invasive Techniken zur Signalextraktion, einschließlich MRT und M/EEG, sind die zweite Option; Sie erfordern kein Bohren und sind kostengünstiger.
Nicht-invasive Techniken zur Erfassung von Gehirnsignalen weisen jedoch einen schwerwiegenden Fehler auf: Die MRT-Messwerte einer Person werden von diesem Reiz etwa zehn Sekunden lang beeinflusst, nachdem sie einem Reiz ausgesetzt wurde (z. B. das Hören eines Wortes). Ein englischer Muttersprachler kann durchschnittlich zwei Wörter pro Sekunde sagen. Es stellt sich heraus, dass jedes MRT-Bild Daten über die Verarbeitung von etwa zwanzig Wörtern durch das Gehirn enthält, wenn man ein MRT-Signal aufzeichnet, während man englischsprachigen Gesprächen zuhört.
Daher ist es mit der MRT unmöglich, den Text, den eine Person hört, originalgetreu wiederzugeben. Darüber hinaus gelang es vielen früheren Studien zum Thema Textwiederherstellung aus Gehirnsignalen, die mit nicht-invasiven Techniken gesammelt wurden, nur, bestimmte Wörter und Phrasen abzurufen.
Und die texanischen Forscher entwickelten eine MRT-Technik, um (fast) verständlichen Text zu rekonstruieren. Es wird eine gewisse Abweichung zwischen diesem Text und dem geben, was die Person tatsächlich gehört hat. Es ist jedoch semantisch äquivalent, d. h. es stellt die üblicherweise akzeptierte Interpretation dar.
Um das mit dieser Textpassage verbundene MRT des Gehirns wiederherzustellen, trainieren Forscher das Encoder-Netzwerk, das aus einem Textstück lernt. Dann wird mithilfe eines vorab trainierten Sprachmodells (z. B GPT) führen Forscher die folgenden Schritte durch:
- Forscher fragen GPT um zahlreiche Möglichkeiten zu schaffen, den Text alle zwei Sekunden weiterzuleiten. Das Encoder-Netzwerk empfängt diese vielen Optionen und versucht, sie zur Wiederherstellung des aktuellen MRT-Bildes zu nutzen. Wir glauben, dass die Textversion, die die genaueste Darstellung des echten MRT-Signals ermöglichte, die richtige ist.
Hier ist ein Beispiel:
| Ursprüngliche Eingabe | Generierungsausgabe |
| Ich wusste nicht, ob ich schreien, weinen oder weglaufen sollte. Stattdessen sagte ich: „Lass mich in Ruhe; Ich brauche deine Hilfe nicht.“ Adam verschwand und ich räumte alleine weinend auf. | Ich fing an zu schreien und zu weinen, und dann sagte sie nur: „Ich habe dir gesagt, du sollst mich in Ruhe lassen.“ Du kannst mir nicht mehr weh tun. Es tut mir leid“, und dann stürmte er davon. Obwohl ich dachte, er wäre gegangen, fing ich an zu weinen. |
Diese Technologie wird viele Verwendungsmöglichkeiten haben, wenn Sie sie zum Erfinden von Sprache verwenden, anstatt sich die Aufnahmen anderer Leute anzuhören. Sogar die Rekonstruktion fiktiver Sprache war Gegenstand eines Experiments der Autoren des Artikels. Wieder einmal erwies sich, dass die endgültigen Texte den Originalen ähnlicher waren als zufällige. Der Ansatz scheint zu funktionieren.
Und mit Hilfe solcher Modelle können Sie die Funktionsweise verschiedener Gehirnregionen untersuchen. In dieser Studie wurden drei separate Regionen des Gehirns, die hörbare Sprache verarbeiten, zur Erzeugung des MRT-Signals verwendet. Man kann lernen, welcher Teil der Informationen von welchem Bereich des Gehirns verarbeitet wird, indem man Signale aus verschiedenen Teilen des Gehirns zur Eingabe des Modells hinzufügt oder daraus eliminiert. Darüber hinaus können Sie Rekonstruktionen des Encodermodells gegenüberstellen, die mithilfe von Signalen anderer Komponenten erstellt wurden.
Lesen Sie mehr über KI:
Haftungsausschluss
Im Einklang mit der Richtlinien des Trust-ProjektsBitte beachten Sie, dass die auf dieser Seite bereitgestellten Informationen nicht als Rechts-, Steuer-, Anlage-, Finanz- oder sonstige Beratung gedacht sind und nicht als solche interpretiert werden sollten. Es ist wichtig, nur so viel zu investieren, wie Sie sich leisten können, zu verlieren, und im Zweifelsfall eine unabhängige Finanzberatung einzuholen. Für weitere Informationen empfehlen wir einen Blick auf die Allgemeinen Geschäftsbedingungen sowie die Hilfe- und Supportseiten des Herausgebers oder Werbetreibenden. MetaversePost ist einer genauen, unvoreingenommenen Berichterstattung verpflichtet, die Marktbedingungen können sich jedoch ohne Vorankündigung ändern.
Über den Autor
Damir ist Teamleiter, Produktmanager und Redakteur bei Metaverse Post, behandelt Themen wie KI/ML, AGI, LLMs, Metaverse und Web3-bezogene Felder. Seine Artikel ziehen jeden Monat ein riesiges Publikum von über einer Million Nutzern an. Er scheint ein Experte mit 10 Jahren Erfahrung in SEO und digitalem Marketing zu sein. Damir wurde in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto und andere Publikationen. Als digitaler Nomade reist er zwischen den Vereinigten Arabischen Emiraten, der Türkei, Russland und der GUS. Damir hat einen Bachelor-Abschluss in Physik, der ihm seiner Meinung nach die Fähigkeiten zum kritischen Denken vermittelt hat, die er braucht, um in der sich ständig verändernden Landschaft des Internets erfolgreich zu sein.
Weitere Artikel
Damir ist Teamleiter, Produktmanager und Redakteur bei Metaverse Post, behandelt Themen wie KI/ML, AGI, LLMs, Metaverse und Web3-bezogene Felder. Seine Artikel ziehen jeden Monat ein riesiges Publikum von über einer Million Nutzern an. Er scheint ein Experte mit 10 Jahren Erfahrung in SEO und digitalem Marketing zu sein. Damir wurde in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto und andere Publikationen. Als digitaler Nomade reist er zwischen den Vereinigten Arabischen Emiraten, der Türkei, Russland und der GUS. Damir hat einen Bachelor-Abschluss in Physik, der ihm seiner Meinung nach die Fähigkeiten zum kritischen Denken vermittelt hat, die er braucht, um in der sich ständig verändernden Landschaft des Internets erfolgreich zu sein.
