Des chercheurs du Texas proposent une nouvelle méthode de reconstruction de texte basée sur les signaux d'IRM cérébrale et l'IA
En bref
L'Université du Texas a proposé une nouvelle méthode pour reconstruire le texte qu'une personne entend sur la base d'un signal cérébral IRM.
La méthode consiste à former un réseau d'encodeurs pour restaurer l'image IRM du cerveau correspondant au texte, et à utiliser des modèles de langage pré-formés pour générer des options pour continuer le texte.
Statistiquement textes générés sont plus proches de l'original que les modèles aléatoires et peuvent être utilisés pour explorer les fonctions de différentes parties du cerveau.
Des chercheurs de l'Université du Texas ont proposé une nouvelle méthode pour recréer du texte à partir d'un signal cérébral IRM. De plus, le décodage se produit dans un texte cohérent sémantiquement similaire au vrai.
Il a déjà été tenté de décoder le texte qu'une personne entend (ou dit dans sa tête). Selon la façon dont le signal est extrait du cerveau, il existe deux approches différentes. L'extraction de signal de type Invasion est la première : une puce qui lit les impulsions directement du cerveau neurones est placé dans le crâne d'une personne. La méthode est invasive, coûteuse et compliquée. Les techniques d'extraction de signal non invasives, y compris l'IRM et le M/EEG, sont la deuxième option ; ils ne nécessitent aucun perçage et sont moins coûteux.
Cependant, les techniques non invasives de collecte des signaux cérébraux présentent un grave défaut : les lectures IRM d'une personne sont affectées par ce stimulus pendant environ 10 secondes après l'exposition à un stimulus (comme entendre un mot). Un natif anglais peut dire deux mots par seconde en moyenne. Il s'avère que chaque image IRM contient des données sur le cerveau traitant environ vingt mots si vous enregistrez un signal IRM tout en écoutant des anglophones.
Par conséquent, en utilisant l'IRM, il est impossible de recréer fidèlement le texte qu'une personne entend. De plus, de nombreuses études antérieures sur la récupération de texte à partir de signaux cérébraux recueillis à l'aide de techniques non invasives n'ont réussi qu'à récupérer des mots et des phrases spécifiques.
Et les chercheurs du Texas ont développé une technique d'IRM pour reconstruire un texte (presque) intelligible. Il y aura une certaine variation entre ce texte et ce que la personne a réellement entendu. Cependant, il sera sémantiquement équivalent, ce qui signifie qu'il représentera l'interprétation généralement acceptée.
Pour récupérer l'IRM du cerveau associée à ce passage de texte, les chercheurs entraînent le réseau d'encodeurs, qui apprend à partir d'un morceau de texte. Ensuite, en utilisant un modèle de langage pré-entraîné (tel que GPT), les chercheurs effectuent les étapes suivantes :
- Les chercheurs demandent GPT pour créer de nombreuses possibilités d'avancer le texte toutes les deux secondes. Le réseau d'encodeurs reçoit ces nombreuses options et tente de les utiliser pour récupérer l'image IRM présente. Nous pensons que la version textuelle qui a permis la représentation la plus précise du signal IRM authentique est la bonne.
Voici un exemple:
| Entrée d'origine | Sortie de génération |
| Je ne savais pas si je devais crier, pleurer ou m'enfuir. Au lieu de cela, j'ai dit: «Laissez-moi tranquille; Je n'ai pas besoin de votre aide. Adam a disparu, et j'ai nettoyé seul, en pleurant. | J'ai commencé à crier et à pleurer, puis elle a juste dit, je t'ai dit de me laisser tranquille ; tu ne peux plus me faire de mal. Je suis désolé », puis il est parti en trombe. Même si je pensais qu'il était parti, j'ai commencé à pleurer. |
Cette technologie aura de nombreuses utilisations si vous l'utilisez pour inventer un discours au lieu d'écouter les enregistrements d'autres personnes. Même la reconstitution d'un discours fictif a fait l'objet d'une expérimentation par les auteurs de l'article. Une fois de plus, les textes finaux se sont révélés plus proches des originaux que des textes aléatoires. L'approche semble fonctionner.
Et avec l'aide de tels modèles, vous pouvez étudier les opérations de diverses régions du cerveau. Dans cette étude, trois régions distinctes du cerveau qui gèrent la parole audible ont été utilisées pour générer le signal IRM. On peut savoir quelle partie de l'information est traitée par quelle zone du cerveau en ajoutant et en éliminant les signaux provenant de diverses parties du cerveau à partir de l'entrée du modèle. De plus, vous pouvez contraster les reconstructions du modèle d'encodeur réalisées à l'aide de signaux provenant d'autres composants.
En savoir plus sur l'IA :
Clause de non-responsabilité
En ligne avec la Lignes directrices du projet de confiance, veuillez noter que les informations fournies sur cette page ne sont pas destinées à être et ne doivent pas être interprétées comme des conseils juridiques, fiscaux, d'investissement, financiers ou toute autre forme de conseil. Il est important d’investir uniquement ce que vous pouvez vous permettre de perdre et de demander des conseils financiers indépendants en cas de doute. Pour plus d'informations, nous vous suggérons de vous référer aux conditions générales ainsi qu'aux pages d'aide et de support mises à disposition par l'émetteur ou l'annonceur. MetaversePost s'engage à fournir des rapports précis et impartiaux, mais les conditions du marché sont susceptibles de changer sans préavis.
A propos de l'auteur
Damir est chef d'équipe, chef de produit et rédacteur en chef chez Metaverse Post, couvrant des sujets tels que l'IA/ML, l'AGI, les LLM, le métaverse et Web3-domaines connexes. Ses articles attirent une audience massive de plus d'un million d'utilisateurs chaque mois. Il semble être un expert avec 10 ans d'expérience dans le référencement et le marketing numérique. Damir a été mentionné dans Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto et d'autres publications. Il voyage entre les Émirats arabes unis, la Turquie, la Russie et la CEI en tant que nomade numérique. Damir a obtenu un baccalauréat en physique, ce qui, selon lui, lui a donné les compétences de pensée critique nécessaires pour réussir dans le paysage en constante évolution d'Internet.
Plus d'articles
Damir est chef d'équipe, chef de produit et rédacteur en chef chez Metaverse Post, couvrant des sujets tels que l'IA/ML, l'AGI, les LLM, le métaverse et Web3-domaines connexes. Ses articles attirent une audience massive de plus d'un million d'utilisateurs chaque mois. Il semble être un expert avec 10 ans d'expérience dans le référencement et le marketing numérique. Damir a été mentionné dans Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto et d'autres publications. Il voyage entre les Émirats arabes unis, la Turquie, la Russie et la CEI en tant que nomade numérique. Damir a obtenu un baccalauréat en physique, ce qui, selon lui, lui a donné les compétences de pensée critique nécessaires pour réussir dans le paysage en constante évolution d'Internet.
