Các nhà nghiên cứu Texas đề xuất phương pháp mới để tái tạo văn bản dựa trên tín hiệu MRI não và AI
Tóm lại
Đại học Texas đã đề xuất một phương pháp mới để tái tạo lại văn bản mà một người nghe được dựa trên tín hiệu não MRI.
Phương pháp này liên quan đến việc đào tạo một mạng mã hóa để khôi phục hình ảnh MRI của não tương ứng với văn bản và sử dụng các mô hình ngôn ngữ được đào tạo trước để tạo các tùy chọn để tiếp tục văn bản.
Theo thống kê văn bản được tạo gần với bản gốc hơn là ngẫu nhiên và có thể được sử dụng để khám phá chức năng của các phần khác nhau của não.
Các nhà nghiên cứu từ Đại học Texas đã đề xuất một phương pháp mới để tái tạo văn bản từ tín hiệu não MRI. Hơn nữa, việc giải mã xảy ra trong một văn bản mạch lạc về mặt ngữ nghĩa tương tự như văn bản thực.
Nó đã từng được cố gắng giải mã văn bản mà một người nghe thấy (hoặc nói trong đầu họ). Tùy thuộc vào cách tín hiệu được đưa ra khỏi não, có hai cách tiếp cận khác nhau. Khai thác tín hiệu kiểu xâm lược là cách đầu tiên: Một con chip đọc các xung trực tiếp từ não tế bào thần kinh được đặt trong hộp sọ của một người. Phương pháp này xâm lấn, đắt tiền và phức tạp. Các kỹ thuật trích xuất tín hiệu không xâm lấn, bao gồm MRI và M/EEG, là lựa chọn thứ hai; chúng không cần khoan và ít tốn kém hơn.
Tuy nhiên, các kỹ thuật không xâm lấn để thu thập tín hiệu não có một lỗ hổng nghiêm trọng: kết quả đọc MRI của một người bị ảnh hưởng bởi kích thích đó trong khoảng 10 giây sau khi tiếp xúc với kích thích (chẳng hạn như nghe một từ). Trung bình một người bản ngữ tiếng Anh có thể nói hai từ mỗi giây. Hóa ra mỗi hình ảnh MRI chứa dữ liệu về quá trình não bộ xử lý khoảng XNUMX từ nếu bạn ghi lại tín hiệu MRI trong khi nghe người nói tiếng Anh.
Do đó, bằng cách sử dụng MRI, không thể tái tạo một cách trung thực văn bản mà một người nghe được. Ngoài ra, rất nhiều nghiên cứu trước đây về chủ đề khôi phục văn bản từ các tín hiệu não được thu thập bằng các kỹ thuật không xâm lấn chỉ thành công trong việc truy xuất các từ và cụm từ cụ thể.
Và các nhà nghiên cứu Texas đã phát triển một kỹ thuật MRI để tái tạo lại (gần như) văn bản dễ hiểu. Sẽ có một số khác biệt giữa văn bản này và những gì người đó thực sự nghe được. Tuy nhiên, nó sẽ tương đương về mặt ngữ nghĩa, nghĩa là nó sẽ đại diện cho cách diễn giải thường được chấp nhận.
Để khôi phục MRI của não liên quan đến đoạn văn bản này, các nhà nghiên cứu huấn luyện mạng mã hóa, mạng này học từ một đoạn văn bản. Sau đó, sử dụng mô hình ngôn ngữ được đào tạo trước (chẳng hạn như GPT), nhà nghiên cứu thực hiện các bước sau:
- Các nhà nghiên cứu hỏi GPT để tạo ra nhiều khả năng nâng cao văn bản cứ sau hai giây. Mạng bộ mã hóa nhận được nhiều tùy chọn này và cố gắng sử dụng chúng để khôi phục hình ảnh MRI hiện tại. Chúng tôi nghĩ rằng phiên bản văn bản cho phép thể hiện chính xác nhất tín hiệu MRI chính hãng là phiên bản chính xác.
Đây là một ví dụ:
| Đầu vào gốc | Sản lượng thế hệ |
| Tôi không biết nên hét lên, khóc hay bỏ chạy. Thay vào đó, tôi nói: “Hãy để tôi yên; Tôi không cần sự giúp đỡ của bạn. Adam biến mất, còn tôi vừa dọn dẹp vừa khóc. | Tôi bắt đầu la hét và khóc, và sau đó cô ấy chỉ nói, tôi đã nói với bạn để tôi yên; bạn không thể làm tổn thương tôi nữa. Tôi xin lỗi, ”và sau đó anh ta xông ra ngoài. Mặc dù tôi nghĩ rằng anh ấy đã rời đi, tôi bắt đầu khóc. |
Công nghệ này sẽ có nhiều công dụng nếu bạn sử dụng nó để phát biểu thay vì nghe bản ghi âm của người khác. Ngay cả việc tái tạo lại lời nói hư cấu cũng là chủ đề của một thử nghiệm của các tác giả bài báo. Một lần nữa, các văn bản cuối cùng được chứng minh là giống với bản gốc hơn là ngẫu nhiên. Cách tiếp cận dường như làm việc.
Và với sự trợ giúp của các mô hình như vậy, bạn có thể điều tra hoạt động của các vùng não khác nhau. Trong nghiên cứu này, ba vùng riêng biệt của não xử lý lời nói có thể nghe được đã được sử dụng để tạo tín hiệu MRI. Người ta có thể biết phần nào của thông tin được xử lý bởi vùng nào của não bằng cách cộng và loại bỏ các tín hiệu từ các phần khác nhau của não từ đầu vào của mô hình. Ngoài ra, bạn có thể đối chiếu các bản dựng lại của mô hình bộ mã hóa được thực hiện bằng tín hiệu từ các thành phần khác.
Đọc thêm về AI:
Từ chối trách nhiệm
Phù hợp với Hướng dẫn của Dự án Tin cậy, xin lưu ý rằng thông tin được cung cấp trên trang này không nhằm mục đích và không được hiểu là tư vấn pháp lý, thuế, đầu tư, tài chính hoặc bất kỳ hình thức tư vấn nào khác. Điều quan trọng là chỉ đầu tư những gì bạn có thể đủ khả năng để mất và tìm kiếm lời khuyên tài chính độc lập nếu bạn có bất kỳ nghi ngờ nào. Để biết thêm thông tin, chúng tôi khuyên bạn nên tham khảo các điều khoản và điều kiện cũng như các trang trợ giúp và hỗ trợ do nhà phát hành hoặc nhà quảng cáo cung cấp. MetaversePost cam kết báo cáo chính xác, không thiên vị nhưng điều kiện thị trường có thể thay đổi mà không cần thông báo trước.
Giới thiệu về Tác giả
Damir là trưởng nhóm, quản lý sản phẩm và biên tập viên tại Metaverse Post, bao gồm các chủ đề như AI/ML, AGI, LLMs, Metaverse và Web3-các lĩnh vực liên quan. Các bài báo của anh ấy thu hút một lượng lớn độc giả với hơn một triệu người dùng mỗi tháng. Anh ấy có vẻ là một chuyên gia với 10 năm kinh nghiệm về SEO và tiếp thị kỹ thuật số. Damir đã được đề cập trong Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto và các ấn phẩm khác. Anh đi lại giữa Các Tiểu vương quốc Ả Rập Thống nhất, Thổ Nhĩ Kỳ, Nga và CIS với tư cách là một người du mục kỹ thuật số. Damir đã có bằng cử nhân vật lý, bằng cấp mà anh tin rằng đã mang lại cho anh những kỹ năng tư duy phản biện cần thiết để thành công trong bối cảnh luôn thay đổi của Internet.
Xem thêm bài viết
Damir là trưởng nhóm, quản lý sản phẩm và biên tập viên tại Metaverse Post, bao gồm các chủ đề như AI/ML, AGI, LLMs, Metaverse và Web3-các lĩnh vực liên quan. Các bài báo của anh ấy thu hút một lượng lớn độc giả với hơn một triệu người dùng mỗi tháng. Anh ấy có vẻ là một chuyên gia với 10 năm kinh nghiệm về SEO và tiếp thị kỹ thuật số. Damir đã được đề cập trong Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto và các ấn phẩm khác. Anh đi lại giữa Các Tiểu vương quốc Ả Rập Thống nhất, Thổ Nhĩ Kỳ, Nga và CIS với tư cách là một người du mục kỹ thuật số. Damir đã có bằng cử nhân vật lý, bằng cấp mà anh tin rằng đã mang lại cho anh những kỹ năng tư duy phản biện cần thiết để thành công trong bối cảnh luôn thay đổi của Internet.
