Peneliti Texas Mengusulkan Metode Baru untuk Merekonstruksi Teks Berdasarkan Sinyal MRI Otak dan AI
Singkatnya
University of Texas telah mengusulkan metode baru untuk merekonstruksi teks yang didengar seseorang berdasarkan sinyal otak MRI.
Metode ini melibatkan pelatihan jaringan enkoder untuk memulihkan citra MRI otak yang sesuai dengan teks, dan menggunakan model bahasa terlatih untuk menghasilkan opsi untuk melanjutkan teks.
Secara statistik teks yang dihasilkan lebih dekat dengan aslinya daripada yang acak dan dapat digunakan untuk mengeksplorasi fungsi berbagai bagian otak.
Para peneliti dari University of Texas telah mengusulkan metode baru untuk membuat ulang teks dari sinyal otak MRI. Selanjutnya, decoding terjadi pada teks koheren yang secara semantik mirip dengan aslinya.
Telah dicoba sebelumnya untuk memecahkan kode teks yang didengar seseorang (atau diucapkan di kepala mereka). Bergantung pada bagaimana sinyal dikeluarkan dari otak, ada dua pendekatan berbeda. Ekstraksi sinyal gaya invasi adalah yang pertama: Sebuah chip itu membaca impuls langsung dari otak neuron ditempatkan di tengkorak seseorang. Metodenya invasif, mahal, dan rumit. Teknik ekstraksi sinyal non-invasif, termasuk MRI dan M/EEG, adalah pilihan kedua; mereka tidak memerlukan pengeboran dan lebih murah.
Namun, teknik non-invasif untuk mengumpulkan sinyal otak memiliki satu kelemahan serius: pembacaan MRI seseorang dipengaruhi oleh stimulus tersebut selama kira-kira 10 detik setelah terpapar stimulus (seperti mendengar kata). Penduduk asli bahasa Inggris rata-rata dapat mengucapkan dua kata per detik. Ternyata setiap gambar MRI berisi data tentang pemrosesan otak kira-kira dua puluh kata jika Anda merekam sinyal MRI sambil mendengarkan penutur bahasa Inggris.
Akibatnya, dengan menggunakan MRI, tidak mungkin membuat ulang teks yang didengar seseorang dengan tepat. Selain itu, banyak penelitian sebelumnya tentang subjek pemulihan teks dari sinyal otak yang dikumpulkan menggunakan teknik non-invasif hanya berhasil mengambil kata dan frasa tertentu.
Dan para peneliti Texas mengembangkan teknik MRI untuk merekonstruksi (hampir) teks yang dapat dipahami. Akan ada beberapa variasi antara teks ini dan apa yang sebenarnya didengar orang tersebut. Namun, secara semantik akan setara, artinya akan mewakili interpretasi yang biasanya diterima.
Untuk memulihkan MRI otak yang terkait dengan bagian teks ini, peneliti melatih jaringan encoder, yang belajar dari sepotong teks. Kemudian, menggunakan model bahasa yang telah dilatih sebelumnya (seperti GPT), peneliti melakukan langkah-langkah berikut:
- Peneliti bertanya GPT untuk membuat banyak kemungkinan untuk memajukan teks setiap dua detik. Jaringan enkoder menerima banyak opsi ini dan berupaya menggunakannya untuk memulihkan citra MRI saat ini. Menurut kami, versi teks yang memungkinkan representasi paling akurat dari sinyal MRI asli adalah yang paling akurat.
Berikut ini contohnya:
| Masukan Asli | Keluaran Generasi |
| Aku tidak tahu apakah harus berteriak, menangis, atau melarikan diri. Sebaliknya, saya berkata, “Tinggalkan saya sendiri; Aku tidak membutuhkan bantuanmu.” Adam menghilang, dan aku membersihkan diri, menangis. | Saya mulai menjerit dan menangis, dan kemudian dia hanya berkata, saya menyuruhmu untuk meninggalkan saya sendiri; kamu tidak bisa menyakitiku lagi. Maafkan aku” lalu dia pergi. Meskipun saya pikir dia telah pergi, saya mulai menangis. |
Teknologi ini akan memiliki banyak kegunaan jika Anda menggunakannya untuk mengarang ucapan daripada mendengarkan rekaman orang lain. Bahkan rekonstruksi pidato fiktif menjadi subjek eksperimen oleh penulis artikel tersebut. Sekali lagi, teks terakhir terbukti lebih mirip dengan aslinya daripada yang acak. Pendekatan itu tampaknya berhasil.
Dan dengan bantuan model seperti itu, Anda dapat menyelidiki operasi berbagai bagian otak. Dalam penelitian ini, tiga bagian otak terpisah yang menangani ucapan terdengar digunakan untuk menghasilkan sinyal MRI. Seseorang dapat mempelajari bagian mana dari informasi yang diproses oleh area otak mana dengan menambahkan dan menghilangkan sinyal dari berbagai bagian otak dari input model. Selain itu, Anda dapat mengkontraskan rekonstruksi model encoder yang dibuat menggunakan sinyal dari komponen lain.
Baca lebih lanjut tentang AI:
Penolakan tanggung jawab
Sejalan dengan Percayai pedoman Proyek, harap dicatat bahwa informasi yang diberikan pada halaman ini tidak dimaksudkan untuk dan tidak boleh ditafsirkan sebagai nasihat hukum, pajak, investasi, keuangan, atau bentuk nasihat lainnya. Penting untuk hanya menginvestasikan jumlah yang mampu Anda tanggung kerugiannya dan mencari nasihat keuangan independen jika Anda ragu. Untuk informasi lebih lanjut, kami menyarankan untuk merujuk pada syarat dan ketentuan serta halaman bantuan dan dukungan yang disediakan oleh penerbit atau pengiklan. MetaversePost berkomitmen terhadap pelaporan yang akurat dan tidak memihak, namun kondisi pasar dapat berubah tanpa pemberitahuan.
Tentang Penulis
Damir adalah pemimpin tim, manajer produk, dan editor di Metaverse Post, mencakup topik seperti AI/ML, AGI, LLM, Metaverse, dan Web3-bidang terkait. Artikelnya menarik lebih dari satu juta pengguna setiap bulan. Dia tampaknya ahli dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebutkan dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, dan publikasi lainnya. Dia melakukan perjalanan antara UEA, Turki, Rusia, dan CIS sebagai pengembara digital. Damir memperoleh gelar sarjana dalam bidang fisika, yang menurutnya telah memberinya keterampilan berpikir kritis yang diperlukan untuk berhasil dalam lanskap internet yang selalu berubah.
lebih artikel
Damir adalah pemimpin tim, manajer produk, dan editor di Metaverse Post, mencakup topik seperti AI/ML, AGI, LLM, Metaverse, dan Web3-bidang terkait. Artikelnya menarik lebih dari satu juta pengguna setiap bulan. Dia tampaknya ahli dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebutkan dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, dan publikasi lainnya. Dia melakukan perjalanan antara UEA, Turki, Rusia, dan CIS sebagai pengembara digital. Damir memperoleh gelar sarjana dalam bidang fisika, yang menurutnya telah memberinya keterampilan berpikir kritis yang diperlukan untuk berhasil dalam lanskap internet yang selalu berubah.
