德州研究人员提出基于大脑 MRI 信号和 AI 重建文本的新方法
简单来说
德克萨斯大学提出了一种新方法，可以根据 MRI 大脑信号重建一个人听到的文本。
该方法涉及训练编码器网络以恢复与文本对应的大脑 MRI 图像，并使用预训练的语言模型生成继续文本的选项。
统计上 生成的文本 比随机的更接近原始，可以用来探索大脑不同部分的功能。
德克萨斯大学的研究人员提出了一种从 MRI 大脑信号中重建文本的新方法。 此外，解码发生在语义上与真实文本相似的连贯文本中。
之前已经尝试过解码一个人听到（或在他们脑海中说出）的文本。 根据信号从大脑中取出的方式，有两种不同的方法。 入侵式信号提取是第一个：一种芯片 直接从大脑读取冲动 神经元被放置在人的颅骨中。 该方法具有侵入性、昂贵且复杂。 非侵入性信号提取技术，包括 MRI 和 M/EEG，是第二种选择； 它们不需要任何钻孔，而且更便宜。
然而，用于收集大脑信号的非侵入性技术有一个严重缺陷：一个人的 MRI 读数在受到刺激（例如听到一个词）后大约 10 秒内会受到该刺激的影响。 一个英语母语者平均每秒可以说两个单词。 事实证明，如果您在听说英语的人说话时记录 MRI 信号，则每张 MRI 图像都包含有关大脑处理大约 XNUMX 个单词的数据。
因此，使用 MRI 不可能忠实地再现一个人听到的文本。 此外，许多关于从使用非侵入性技术收集的大脑信号中恢复文本的主题的早期研究仅成功地检索了特定的单词和短语。
得克萨斯州的研究人员开发了一种 MRI 技术来重建（几乎）可理解的文本。 这段文字与人们实际听到的内容之间会有一些差异。 然而，它在语义上是等价的，这意味着它将代表通常被接受的解释。
为了恢复与这段文本相关的大脑 MRI，研究人员训练了编码器网络，该网络从一段文本中学习。 然后，使用预先训练的语言模型（例如 GPT），研究人员执行以下步骤：
- 研究人员问 GPT 为每两秒推进一次文本创造无数可能性。 编码器网络接收到这些选项并尝试使用它们来恢复当前的 MRI 图像。 我们认为允许最准确地表示真实 MRI 信号的文本版本是准确的。
这是一个例子：
| 原始输入 | 发电量 |
| 我不知道是该尖叫、哭泣还是逃跑。 相反，我说：“别管我； 我不需要你的帮助。” 亚当不见了，我一个人哭着打扫卫生。 | 我开始尖叫和哭泣，然后她只是说，我告诉过你别管我； 你不能再伤害我了。 对不起，”然后他怒气冲冲地离开了。 虽然我以为他已经离开了，但我还是哭了起来。 |
如果你用它来编造演讲而不是听别人的录音，这项技术将有很多用途。 甚至虚构语音的重建也是文章作者的实验主题。 再一次，最终文本被证明比随机文本更类似于原始文本。 该方法似乎有效。
借助此类模型，您可以研究不同大脑区域的运作。 在这项研究中，大脑中处理可听语音的三个独立区域被用来生成 MRI 信号。 通过从模型输入中添加和消除来自大脑各个部分的信号，可以了解信息的哪一部分由大脑的哪个区域处理。 此外，您可以对比使用来自其他组件的信号重建的编码器模型。
阅读有关人工智能的更多信息：
免责声明
在与行 信托项目指南，请注意，本页提供的信息无意且不应被解释为法律、税务、投资、财务或任何其他形式的建议。 重要的是，仅投资您可以承受损失的金额，并在有任何疑问时寻求独立的财务建议。 如需了解更多信息，我们建议您参阅条款和条件以及发行人或广告商提供的帮助和支持页面。 MetaversePost 致力于提供准确、公正的报告，但市场状况如有变更，恕不另行通知。
关于作者
Damir 是团队领导、产品经理和编辑 Metaverse Post，涵盖 AI/ML、AGI、LLM、Metaverse 等主题 Web3- 相关领域。 他的文章每月吸引超过一百万用户的大量读者。 他似乎是一位在 SEO 和数字营销方面拥有 10 年经验的专家。 达米尔曾在 Mashable、Wired、 Cointelegraph、《纽约客》、Inside.com、Entrepreneur、BeInCrypto 和其他出版物。 他作为数字游牧者往返于阿联酋、土耳其、俄罗斯和独联体国家之间。 达米尔获得了物理学学士学位，他认为这赋予了他在不断变化的互联网格局中取得成功所需的批判性思维技能。
更多文章
Damir 是团队领导、产品经理和编辑 Metaverse Post，涵盖 AI/ML、AGI、LLM、Metaverse 等主题 Web3- 相关领域。 他的文章每月吸引超过一百万用户的大量读者。 他似乎是一位在 SEO 和数字营销方面拥有 10 年经验的专家。 达米尔曾在 Mashable、Wired、 Cointelegraph、《纽约客》、Inside.com、Entrepreneur、BeInCrypto 和其他出版物。 他作为数字游牧者往返于阿联酋、土耳其、俄罗斯和独联体国家之间。 达米尔获得了物理学学士学位，他认为这赋予了他在不断变化的互联网格局中取得成功所需的批判性思维技能。
