Nababasa ng AI model na MinD-Vis ang isip ng mga tao batay sa aktibidad ng utak
Sa madaling sabi
Maaaring bigyang-kahulugan ng modelo ng AI kung ano ang nakikita ng isang tao batay sa aktibidad ng utak – ganito
Ang isang bagong modelo ng AI na tinatawag na MinD-Vis ay maaaring magbigay-kahulugan kung ano ang nakikita ng isang tao batay sa aktibidad ng utak. Gumagana ang modelo sa pamamagitan ng pagbibigay-kahulugan sa 'mnemonic invariants' na naroroon sa utak kapag ang isang tao ay nakakita ng isang bagay. Ang mga mnemonic invariant na ito ay mga pattern na pinapanatili sa iba't ibang memorya ng parehong bagay.
Upang makakuha ng mga pandaigdigang pag-embed ng aktibidad ng utak, ang mga may-akda ay unang nagsanay ng isang self-supervised na modelo (pareho para sa iba't ibang tao). Pagkatapos ay ipinakilala nila ang cross-attention sa mga mental na representasyong ito gamit ang pre-trained Latent Diffusion. Ang modelo ay ganap na na-decipher kung ano ang nakikita ng isang tao sa harap niya pagkatapos ng ilang mabilis na pag-fine-tune sa 1.5k na larawan-fMRI magkapares!
Upang mas mahusay na maunawaan ang visual system ng tao at maibigay ang batayan para sa pag-bridging ng paningin ng tao at computer sa pamamagitan ng Brain-Computer Interface, ang pag-decode ng visual stimuli mula sa mga pag-record ng utak ay sumusubok na palawakin ang aming pang-unawa sa visual system. Ang pagiging kumplikado ng mga pinagbabatayan na representasyon ng mga signal ng utak at ang kakulangan ng mga anotasyon ng data ay nagpapahirap sa muling paglikha ng mga tumpak na larawan na may mataas na kalidad mula sa mga pag-record ng utak.
Una, gamit ang pagmomodelo ng mask sa isang malaking latent space na inspirasyon ng kalat-kalat na coding ng impormasyon sa pangunahing visual cortex, lumikha kami ng isang mahusay na representasyong self-supervised ng data ng fMRI. Pagkatapos, ipinapakita namin na ang MinD-Vis ay maaaring muling buuin ang lubos na kapani-paniwalang mga imahe na may mga detalyeng tugma sa semantiko mula sa mga pag-record ng utak gamit ang kaunting bilang ng mga ipinares na anotasyon sa pamamagitan ng pagdaragdag ng double-conditioning sa isang latent diffusion model.
Inaangkin ng mga mananaliksik
Ayon sa mga pang-eksperimentong resulta, nalampasan ng diskarte ang makabagong pagganap sa semantic mapping (100-way semantic classification) at generation quality (FID) ng 66% at 41%, ayon sa pagkakabanggit. Ang modelo ay na-benchmark sa parehong qualitative at quantitatively. Upang masuri ang balangkas, isinagawa din ang isang masusing pag-aaral sa ablation.
Ang data ng pagsasanay, ang code, at ang mga timbang ng modelo ay available sa publiko sa lahat humiling.
Naniniwala ang mga mananaliksik na ang modelo ay maaaring gamitin upang bumuo ng mga prosthetics para sa mga taong bulag o may mababang paningin. Maaari rin itong gamitin upang tulungan ang mga taong may mga sakit sa memorya, tulad ng Alzheimer's disease.
Magbasa nang higit pa:
Pagtanggi sa pananagutan
Sa linya na may Mga alituntunin ng Trust Project, pakitandaan na ang impormasyong ibinigay sa pahinang ito ay hindi nilayon at hindi dapat bigyang-kahulugan bilang legal, buwis, pamumuhunan, pananalapi, o anumang iba pang paraan ng payo. Mahalagang mamuhunan lamang kung ano ang maaari mong mawala at humingi ng independiyenteng payo sa pananalapi kung mayroon kang anumang mga pagdududa. Para sa karagdagang impormasyon, iminumungkahi naming sumangguni sa mga tuntunin at kundisyon pati na rin sa mga pahina ng tulong at suporta na ibinigay ng nagbigay o advertiser. MetaversePost ay nakatuon sa tumpak, walang pinapanigan na pag-uulat, ngunit ang mga kondisyon ng merkado ay maaaring magbago nang walang abiso.
Tungkol sa Ang May-akda
Si Damir ang pinuno ng pangkat, tagapamahala ng produkto, at editor sa Metaverse Post, sumasaklaw sa mga paksa gaya ng AI/ML, AGI, LLMs, Metaverse, at Web3-mga kaugnay na larangan. Ang kanyang mga artikulo ay umaakit ng napakalaking madla na mahigit sa isang milyong user bawat buwan. Mukhang isa siyang eksperto na may 10 taong karanasan sa SEO at digital marketing. Nabanggit si Damir sa Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, at iba pang publikasyon. Naglalakbay siya sa pagitan ng UAE, Turkey, Russia, at ng CIS bilang digital nomad. Nakamit ni Damir ang bachelor's degree sa physics, na pinaniniwalaan niyang nagbigay sa kanya ng mga kritikal na kasanayan sa pag-iisip na kailangan para maging matagumpay sa pabago-bagong tanawin ng internet.
Mas marami pang artikulo
Si Damir ang pinuno ng pangkat, tagapamahala ng produkto, at editor sa Metaverse Post, sumasaklaw sa mga paksa gaya ng AI/ML, AGI, LLMs, Metaverse, at Web3-mga kaugnay na larangan. Ang kanyang mga artikulo ay umaakit ng napakalaking madla na mahigit sa isang milyong user bawat buwan. Mukhang isa siyang eksperto na may 10 taong karanasan sa SEO at digital marketing. Nabanggit si Damir sa Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, at iba pang publikasyon. Naglalakbay siya sa pagitan ng UAE, Turkey, Russia, at ng CIS bilang digital nomad. Nakamit ni Damir ang bachelor's degree sa physics, na pinaniniwalaan niyang nagbigay sa kanya ng mga kritikal na kasanayan sa pag-iisip na kailangan para maging matagumpay sa pabago-bagong tanawin ng internet.
