AI-modellen MinD-Vis kan läsa människors tankar baserat på hjärnaktivitet
I korthet
AI-modell kan tolka vad en person ser utifrån hjärnaktivitet - här är hur
En ny AI-modell som heter MinD-Vis kan tolka vad en person ser baserat på hjärnaktivitet. Modellen fungerar genom att tolka de 'mnemoniska invarianter' som finns i hjärnan när en person ser ett föremål. Dessa mnemoniska invarianter är mönster som bevaras över olika minnen av samma objekt.
För att få globala inbäddningar av hjärnaktivitet tränade författarna först en självövervakad modell (samma för olika personer). De introducerade sedan korsuppmärksamhet på dessa mentala representationer med hjälp av de förtränade Latent diffusion. Modellen kunde helt dechiffrera vad en person ser framför sig efter lite snabb finjustering på 1.5k bild-fMRI par!
För att bättre förstå det mänskliga visuella systemet och ge grunden för att överbrygga mänskligt och datorseende via hjärn-datorgränssnittet, försöker avkodning av visuella stimuli från hjärninspelningar utöka vår förståelse av det visuella systemet. Komplexiteten i de underliggande representationerna av hjärnsignaler och bristen på datakommentarer gör det svårt att återskapa korrekta bilder med hög kvalitet från hjärninspelningar.
Först, med hjälp av maskmodellering i ett ansenligt latent utrymme inspirerat av den sparsamma kodningen av information i den primära visuella cortexen, skapar vi en effektiv självövervakad representation av fMRI-data. Sedan visar vi att MinD-Vis kan bygga om mycket trovärdiga bilder med semantiskt matchade detaljer från hjärninspelningar med ett minimalt antal parade kommentarer genom att lägga till dubbelkonditionering till en latent diffusionsmodell.
Forskare hävdade
Enligt de experimentella resultaten överträffade strategin det senaste inom semantisk kartläggning (100-vägs semantisk klassificering) och generationskvalitet (FID) med 66 % respektive 41 %. Modellen har benchmarkats både kvalitativt och kvantitativt. För att utvärdera ramverket gjordes även en grundlig studie om ablation.
Träningsdata, koden och modellvikterna är alla tillgängliga för allmänheten på begära.
Forskarna tror att modellen skulle kunna användas för att utveckla proteser för personer som är blinda eller har nedsatt syn. Det kan också användas för att hjälpa personer med minnesstörningar, som Alzheimers sjukdom.
Läs mer:
Villkor
I linje med den Riktlinjer för Trust Project, vänligen notera att informationen på den här sidan inte är avsedd att vara och inte ska tolkas som juridisk, skattemässig, investerings-, finansiell eller någon annan form av rådgivning. Det är viktigt att bara investera det du har råd att förlora och att söka oberoende finansiell rådgivning om du har några tvivel. För ytterligare information föreslår vi att du hänvisar till villkoren samt hjälp- och supportsidorna som tillhandahålls av utfärdaren eller annonsören. MetaversePost är engagerad i korrekt, opartisk rapportering, men marknadsförhållandena kan ändras utan föregående meddelande.
Om författaren
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
fler artiklar
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
