AI-modellen MinD-Vis kan læse folks tanker baseret på hjerneaktivitet
Kort sagt
AI-model kan fortolke, hvad en person ser ud fra hjerneaktivitet – her er hvordan
En ny AI-model kaldet MinD-Vis kan fortolke, hvad en person ser, baseret på hjerneaktivitet. Modellen fungerer ved at fortolke de 'mnemoniske invarianter', der er til stede i hjernen, når en person ser et objekt. Disse mnemoniske invarianter er mønstre, der er bevaret på tværs af forskellige minder om det samme objekt.
For at opnå globale indlejringer af hjerneaktivitet trænede forfatterne først en selvovervåget model (den samme for forskellige mennesker). De introducerede derefter krydsopmærksomhed til disse mentale repræsentationer ved hjælp af de fortrænede Latent Diffusion. Modellen var i stand til fuldstændigt at tyde, hvad en person ser foran sig efter nogle hurtige finjusteringer på 1.5k billede-fMRI par!
For bedre at forstå det menneskelige visuelle system og give grundlaget for at bygge bro mellem menneske- og computersyn via Brain-Computer Interface, forsøger afkodning af visuelle stimuli fra hjerneoptagelser at udvide vores forståelse af det visuelle system. Kompleksiteten af de underliggende repræsentationer af hjernesignaler og mangel på dataannoteringer gør det vanskeligt at genskabe nøjagtige billeder med høj kvalitet fra hjerneoptagelser.
For det første, ved at bruge maskemodellering i et betydeligt latent rum inspireret af den sparsomme kodning af information i den primære visuelle cortex, skaber vi en effektiv selvovervåget repræsentation af fMRI-data. Derefter demonstrerer vi, at MinD-Vis kan genopbygge meget troværdige billeder med semantisk matchede detaljer fra hjerneoptagelser ved hjælp af et minimalt antal parrede annoteringer ved at tilføje dobbeltkonditionering til en latent diffusionsmodel.
Forskere hævdede
Ifølge de eksperimentelle resultater udkonkurrerede strategien state-of-the-art inden for semantisk kortlægning (100-vejs semantisk klassificering) og generationskvalitet (FID) med henholdsvis 66 % og 41 %. Modellen er blevet benchmarket både kvalitativt og kvantitativt. For at evaluere rammerne blev der også gennemført en grundig undersøgelse af ablation.
Træningsdataene, koden og modelvægtene er alle tilgængelige for offentligheden på anmode.
Forskerne mener, at modellen kan bruges til at udvikle proteser til mennesker, der er blinde eller har nedsat syn. Det kunne også bruges til at hjælpe mennesker med hukommelsesforstyrrelser, såsom Alzheimers sygdom.
Læs mere:
Ansvarsfraskrivelse
I tråd med den Trust Project retningslinjer, bemærk venligst, at oplysningerne på denne side ikke er beregnet til at være og ikke skal fortolkes som juridiske, skattemæssige, investeringsmæssige, finansielle eller nogen anden form for rådgivning. Det er vigtigt kun at investere, hvad du har råd til at tabe, og at søge uafhængig finansiel rådgivning, hvis du er i tvivl. For yderligere information foreslår vi at henvise til vilkårene og betingelserne samt hjælpe- og supportsiderne fra udstederen eller annoncøren. MetaversePost er forpligtet til nøjagtig, objektiv rapportering, men markedsforholdene kan ændres uden varsel.
Om forfatteren
Damir er teamleder, produktchef og redaktør på Metaverse Post, der dækker emner som AI/ML, AGI, LLM'er, Metaverse og Web3-relaterede felter. Hans artikler tiltrækker et massivt publikum på over en million brugere hver måned. Han ser ud til at være en ekspert med 10 års erfaring i SEO og digital markedsføring. Damir er blevet nævnt i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto og andre publikationer. Han rejser mellem UAE, Tyrkiet, Rusland og SNG som en digital nomade. Damir tog en bachelorgrad i fysik, som han mener har givet ham de kritiske tænkningskompetencer, der er nødvendige for at få succes i internettets evigt skiftende landskab.
Flere artikler
Damir er teamleder, produktchef og redaktør på Metaverse Post, der dækker emner som AI/ML, AGI, LLM'er, Metaverse og Web3-relaterede felter. Hans artikler tiltrækker et massivt publikum på over en million brugere hver måned. Han ser ud til at være en ekspert med 10 års erfaring i SEO og digital markedsføring. Damir er blevet nævnt i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto og andre publikationer. Han rejser mellem UAE, Tyrkiet, Rusland og SNG som en digital nomade. Damir tog en bachelorgrad i fysik, som han mener har givet ham de kritiske tænkningskompetencer, der er nødvendige for at få succes i internettets evigt skiftende landskab.
