Le modèle d'IA MinD-Vis peut lire dans l'esprit des gens en fonction de l'activité cérébrale
En bref
Le modèle d'IA peut interpréter ce qu'une personne voit en fonction de l'activité cérébrale - Voici comment
Un nouveau modèle d'IA appelé MinD-Vis peut interpréter ce qu'une personne voit en fonction de l'activité cérébrale. Le modèle fonctionne en interprétant les « invariants mnémoniques » qui sont présents dans le cerveau lorsqu'une personne voit un objet. Ces invariants mnémoniques sont des motifs conservés à travers différentes mémoires d'un même objet.
Afin d'obtenir des intégrations globales de l'activité cérébrale, les auteurs ont d'abord formé un modèle auto-supervisé (le même pour différentes personnes). Ils ont ensuite introduit une attention croisée sur ces représentations mentales en utilisant les Diffusion latente. Le modèle a été capable de déchiffrer complètement ce qu'une personne voit devant lui après quelques ajustements rapides sur une image de 1.5k.IRMf paires!
Afin de mieux comprendre le système visuel humain et de jeter les bases d'un pont entre la vision humaine et la vision par ordinateur via l'interface cerveau-ordinateur, le décodage des stimuli visuels à partir d'enregistrements cérébraux tente d'élargir notre compréhension du système visuel. La complexité des représentations sous-jacentes des signaux cérébraux et le manque d'annotations de données rendent difficile la recréation d'images précises de haute qualité à partir d'enregistrements cérébraux.
Tout d'abord, en utilisant la modélisation de masque dans un espace latent important inspiré par le codage clairsemé des informations dans le cortex visuel primaire, nous créons une représentation auto-supervisée efficace des données IRMf. Ensuite, nous démontrons que MinD-Vis peut reconstruire des images hautement crédibles avec des détails sémantiquement appariés à partir d'enregistrements cérébraux en utilisant un nombre minimal d'annotations appariées en ajoutant un double conditionnement à un modèle de diffusion latente.
Les chercheurs ont affirmé
Selon les résultats expérimentaux, la stratégie a surpassé l'état de l'art en matière de cartographie sémantique (classification sémantique à 100 voies) et de qualité de génération (FID) de 66 % et 41 %, respectivement. Le modèle a été étalonné qualitativement et quantitativement. Afin d'évaluer l'armature, une étude approfondie sur l'ablation a également été réalisée.
Les données d'entraînement, le code et les pondérations du modèle sont tous accessibles au public sur nécessaire.
Les chercheurs pensent que le modèle pourrait être utilisé pour développer des prothèses pour les personnes aveugles ou malvoyantes. Il pourrait également être utilisé pour aider les personnes souffrant de troubles de la mémoire, comme la maladie d'Alzheimer.
Lire la suite:
Clause de non-responsabilité
En ligne avec la Lignes directrices du projet de confiance, veuillez noter que les informations fournies sur cette page ne sont pas destinées à être et ne doivent pas être interprétées comme des conseils juridiques, fiscaux, d'investissement, financiers ou toute autre forme de conseil. Il est important d’investir uniquement ce que vous pouvez vous permettre de perdre et de demander des conseils financiers indépendants en cas de doute. Pour plus d'informations, nous vous suggérons de vous référer aux conditions générales ainsi qu'aux pages d'aide et de support mises à disposition par l'émetteur ou l'annonceur. MetaversePost s'engage à fournir des rapports précis et impartiaux, mais les conditions du marché sont susceptibles de changer sans préavis.
A propos de l'auteur
Damir est chef d'équipe, chef de produit et rédacteur en chef chez Metaverse Post, couvrant des sujets tels que l'IA/ML, l'AGI, les LLM, le métaverse et Web3-domaines connexes. Ses articles attirent une audience massive de plus d'un million d'utilisateurs chaque mois. Il semble être un expert avec 10 ans d'expérience dans le référencement et le marketing numérique. Damir a été mentionné dans Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto et d'autres publications. Il voyage entre les Émirats arabes unis, la Turquie, la Russie et la CEI en tant que nomade numérique. Damir a obtenu un baccalauréat en physique, ce qui, selon lui, lui a donné les compétences de pensée critique nécessaires pour réussir dans le paysage en constante évolution d'Internet.
Plus d'articles
Damir est chef d'équipe, chef de produit et rédacteur en chef chez Metaverse Post, couvrant des sujets tels que l'IA/ML, l'AGI, les LLM, le métaverse et Web3-domaines connexes. Ses articles attirent une audience massive de plus d'un million d'utilisateurs chaque mois. Il semble être un expert avec 10 ans d'expérience dans le référencement et le marketing numérique. Damir a été mentionné dans Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto et d'autres publications. Il voyage entre les Émirats arabes unis, la Turquie, la Russie et la CEI en tant que nomade numérique. Damir a obtenu un baccalauréat en physique, ce qui, selon lui, lui a donné les compétences de pensée critique nécessaires pour réussir dans le paysage en constante évolution d'Internet.
