AI-model MinD-Vis kan de gedachten van mensen lezen op basis van hersenactiviteit
In het kort
AI-model kan interpreteren wat een persoon ziet op basis van hersenactiviteit - hier is hoe
Een nieuw AI-model genaamd MinD-Vis kan interpreteren wat een persoon ziet op basis van hersenactiviteit. Het model werkt door de 'mnemonische invarianten' te interpreteren die in de hersenen aanwezig zijn wanneer een persoon een object ziet. Deze mnemonische invarianten zijn patronen die behouden blijven in verschillende herinneringen aan hetzelfde object.
Om globale inbedding van hersenactiviteit te verkrijgen, trainden de auteurs eerst een zelfbegeleidend model (hetzelfde voor verschillende mensen). Vervolgens introduceerden ze kruiselingse aandacht voor deze mentale representaties met behulp van de vooraf getrainde Latente diffusie. Het model was in staat om volledig te ontcijferen wat een persoon voor zich ziet na wat snelle fijnafstemming op 1.5k beeld-fMRI paren!
Om het menselijke visuele systeem beter te begrijpen en de basis te leggen voor het overbruggen van menselijke en computervisie via de Brain-Computer Interface, probeert het decoderen van visuele stimuli van hersenopnamen ons begrip van het visuele systeem uit te breiden. De complexiteit van de onderliggende representaties van hersensignalen en het gebrek aan gegevensannotaties maken het moeilijk om nauwkeurige beelden met hoge kwaliteit opnieuw te maken van hersenopnamen.
Ten eerste creëren we met behulp van maskermodellering in een omvangrijke latente ruimte, geïnspireerd door de schaarse codering van informatie in de primaire visuele cortex, een efficiënte zelfbegeleide weergave van fMRI-gegevens. Vervolgens laten we zien dat MinD-Vis zeer geloofwaardige beelden kan herbouwen met semantisch overeenkomende details van hersenopnamen met behulp van een minimaal aantal gepaarde annotaties door dubbele conditionering toe te voegen aan een latent diffusiemodel.
Onderzoekers beweerden
Volgens de experimentele resultaten presteerde de strategie beter dan de state-of-the-art in semantische mapping (100-weg semantische classificatie) en generatiekwaliteit (FID) met respectievelijk 66% en 41%. Het model is zowel kwalitatief als kwantitatief gebenchmarkt. Om het kader te evalueren, werd ook een grondige studie over ablatie uitgevoerd.
De trainingsgegevens, de code en de modelgewichten zijn allemaal beschikbaar voor het publiek op te vragen.
De onderzoekers denken dat het model kan worden gebruikt om protheses te ontwikkelen voor mensen die blind of slechtziend zijn. Het kan ook worden gebruikt om mensen met geheugenstoornissen, zoals de ziekte van Alzheimer, te helpen.
Lees verder:
Disclaimer
In lijn met de Richtlijnen voor vertrouwensprojectenHoud er rekening mee dat de informatie op deze pagina niet bedoeld is en niet mag worden geïnterpreteerd als juridisch, fiscaal, beleggings-, financieel of enige andere vorm van advies. Het is belangrijk om alleen te beleggen wat u zich kunt veroorloven te verliezen en onafhankelijk financieel advies in te winnen als u twijfels heeft. Voor meer informatie raden wij u aan de algemene voorwaarden en de hulp- en ondersteuningspagina's van de uitgever of adverteerder te raadplegen. MetaversePost streeft naar nauwkeurige, onpartijdige berichtgeving, maar de marktomstandigheden kunnen zonder voorafgaande kennisgeving worden gewijzigd.
Over de auteur
Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet.
Meer artikelen
Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet.
