Das KI-Modell MinD-Vis kann die Gedanken von Menschen basierend auf der Gehirnaktivität lesen
In Kürze
Das KI-Modell kann interpretieren, was eine Person sieht Hirnaktivität - hier ist wie
Ein neues KI-Modell namens MinD-Vis kann anhand der Gehirnaktivität interpretieren, was eine Person sieht. Das Modell funktioniert, indem es die „mnemonischen Invarianten“ interpretiert, die im Gehirn vorhanden sind, wenn eine Person ein Objekt sieht. Diese mnemonischen Invarianten sind Muster, die über verschiedene Erinnerungen desselben Objekts hinweg konserviert werden.
Um globale Einbettungen der Gehirnaktivität zu erhalten, trainierten die Autoren zunächst ein selbstüberwachtes Modell (dasselbe für verschiedene Personen). Dann führten sie die Gegenaufmerksamkeit auf diese mentalen Repräsentationen ein, indem sie das Vortrainierte verwendeten Latente Diffusion. Das Modell konnte nach kurzer Feinabstimmung auf 1.5k-Bild vollständig entschlüsseln, was eine Person vor sich sieht.fMRI Paare!
Um das menschliche visuelle System besser zu verstehen und die Grundlage für die Überbrückung von menschlichem und Computersehen über die Gehirn-Computer-Schnittstelle zu schaffen, versucht die Dekodierung visueller Reize aus Gehirnaufzeichnungen, unser Verständnis des visuellen Systems zu erweitern. Die Komplexität der zugrunde liegenden Darstellungen von Gehirnsignalen und der Mangel an Datenkommentaren machen es schwierig, genaue Bilder mit hoher Qualität aus Gehirnaufzeichnungen zu rekonstruieren.
Zunächst erstellen wir mithilfe der Maskenmodellierung in einem beträchtlichen latenten Raum, der von der spärlichen Codierung von Informationen im primären visuellen Kortex inspiriert ist, eine effiziente selbstüberwachte Darstellung von fMRI-Daten. Dann zeigen wir, dass MinD-Vis hochgradig glaubwürdige Bilder mit semantisch übereinstimmenden Details aus Gehirnaufzeichnungen unter Verwendung einer minimalen Anzahl von gepaarten Anmerkungen rekonstruieren kann, indem wir einem latenten Diffusionsmodell eine doppelte Konditionierung hinzufügen.
Forscher behaupteten
Den experimentellen Ergebnissen zufolge übertraf die Strategie den Stand der Technik in der semantischen Zuordnung (100-Wege-semantische Klassifikation) und der Generierungsqualität (FID) um 66 % bzw. 41 %. Das Modell wurde sowohl qualitativ als auch quantitativ bewertet. Um das Framework zu evaluieren, wurde auch eine gründliche Studie zur Ablation durchgeführt.
Die Trainingsdaten, der Code und die Modellgewichte sind alle öffentlich zugänglich Anforderung.
Die Forscher glauben, dass das Modell zur Entwicklung von Prothesen für blinde oder sehbehinderte Menschen verwendet werden könnte. Es könnte auch verwendet werden, um Menschen mit Gedächtnisstörungen wie der Alzheimer-Krankheit zu helfen.
Mehr lesen:
Haftungsausschluss
Im Einklang mit der Richtlinien des Trust-ProjektsBitte beachten Sie, dass die auf dieser Seite bereitgestellten Informationen nicht als Rechts-, Steuer-, Anlage-, Finanz- oder sonstige Beratung gedacht sind und nicht als solche interpretiert werden sollten. Es ist wichtig, nur so viel zu investieren, wie Sie sich leisten können, zu verlieren, und im Zweifelsfall eine unabhängige Finanzberatung einzuholen. Für weitere Informationen empfehlen wir einen Blick auf die Allgemeinen Geschäftsbedingungen sowie die Hilfe- und Supportseiten des Herausgebers oder Werbetreibenden. MetaversePost ist einer genauen, unvoreingenommenen Berichterstattung verpflichtet, die Marktbedingungen können sich jedoch ohne Vorankündigung ändern.
Über den Autor
Damir ist Teamleiter, Produktmanager und Redakteur bei Metaverse Post, behandelt Themen wie KI/ML, AGI, LLMs, Metaverse und Web3-bezogene Felder. Seine Artikel ziehen jeden Monat ein riesiges Publikum von über einer Million Nutzern an. Er scheint ein Experte mit 10 Jahren Erfahrung in SEO und digitalem Marketing zu sein. Damir wurde in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto und andere Publikationen. Als digitaler Nomade reist er zwischen den Vereinigten Arabischen Emiraten, der Türkei, Russland und der GUS. Damir hat einen Bachelor-Abschluss in Physik, der ihm seiner Meinung nach die Fähigkeiten zum kritischen Denken vermittelt hat, die er braucht, um in der sich ständig verändernden Landschaft des Internets erfolgreich zu sein.
Weitere Artikel
Damir ist Teamleiter, Produktmanager und Redakteur bei Metaverse Post, behandelt Themen wie KI/ML, AGI, LLMs, Metaverse und Web3-bezogene Felder. Seine Artikel ziehen jeden Monat ein riesiges Publikum von über einer Million Nutzern an. Er scheint ein Experte mit 10 Jahren Erfahrung in SEO und digitalem Marketing zu sein. Damir wurde in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto und andere Publikationen. Als digitaler Nomade reist er zwischen den Vereinigten Arabischen Emiraten, der Türkei, Russland und der GUS. Damir hat einen Bachelor-Abschluss in Physik, der ihm seiner Meinung nach die Fähigkeiten zum kritischen Denken vermittelt hat, die er braucht, um in der sich ständig verändernden Landschaft des Internets erfolgreich zu sein.
