|
F类科学家报告称，他们首次设计了一种使用功能性磁共振成像大脑记录重建连续语言的方法。这些发现是寻求更好的脑-机接口的下一步，目前正在开发一种辅助技术，用于那些不会说话或打字的人。 In a preprint posted September 29 on 生物Rxiv德克萨斯大学奥斯汀分校的一个团队详细介绍了一种“解码器”或算法，它可以“读取”一个人在功能性磁共振成像（fMRI）脑部扫描过程中听到或思考的单词。而其他团队之前报道在基于植入大脑的信号重建语言或图像方面取得了一些成功，新的解码器是第一个使用非侵入性方法来实现这一目标的解码器。 “如果你20年前问过世界上任何一位认知神经科学家这是否可行，他们会把你笑出房间，”他说亚历山大·胡特他是德克萨斯大学奥斯汀分校的神经科学家，也是这项研究的合著者。 川谷由纪夫，京都大学计算神经科学家，没有参与这项研究，在一封电子邮件中写道科学家看到由非侵入性解码器生成的可理解的语言序列“令人兴奋”。“这项研究……为[脑-计算机接口]应用奠定了坚实的基础，”他说。 使用功能磁共振成像数据进行这类研究是困难的，因为与人类思维速度相比，它相当慢。核磁共振成像仪不是检测神经元的放电，而是测量大脑内血液流动的变化，作为大脑活动的代理；这种改变需要几秒钟的时间。胡特说，这项研究中的设置之所以有效，是因为该系统不是逐字解码语言，而是识别句子或思想的高级含义。 Huth和他的同事们用fMRI脑记录训练了他们的算法，这些脑记录作为三个研究对象，一个女人和两个男人，都是20多岁或30多岁的人16小时播客和广播故事：Moth广播时间 TED演讲和约翰·格林人类世综述是使用的媒体之一。胡特表示，为了构建一个准确且广泛适用的解码器，研究对象必须聆听广泛的媒体。他指出，虽然他的研究对象较少，但收集到的fMRI数据量与使用fMRI记录的大多数其他研究相匹配。 基于对该个体大脑16小时功能磁共振成像记录的训练，解码器对功能磁共振图像的读数进行了一系列预测。Huth表示，使用这些“猜测”是确保解码器能够翻译与训练中使用的已知录音无关的想法的关键。然后将这些“猜测”与实时fMRI记录进行对比，预测结果与实际读数最接近，从而确定解码器最终生成的单词。 为了确定解码器的成功程度，研究人员对解码器生成与呈现给受试者的刺激的相似性进行评分。他们还对同一解码器生成的语言进行了评分，该解码器未与功能磁共振成像记录进行对照检查。然后，他们比较了这些分数，并测试了两者之间差异的统计显著性。 结果表明，该算法的猜测和检查过程最终会从fMRI记录中生成一个完整的故事，Huth说，这与音频记录中的实际故事“相当吻合”。然而，它确实有一些缺点；例如，它不善于保留代词，经常混淆第一人称和第三人称。胡特说，解码器“非常准确地知道发生了什么，但不知道是谁在做这些事情。” 萨姆·纳斯塔斯普林斯顿神经科学研究所（Princeton Neuroscience Institute）的一位研究员兼讲师表示，使用功能磁共振成像（fMRI）记录进行这种类型的大脑解码是“令人震惊的”，因为这种数据通常是如此缓慢和嘈杂。他说：“他们在这篇论文中展示的是，如果你有一个足够聪明的建模框架，你实际上可以从功能磁共振成像记录中提取出数量惊人的信息。”。 该系统不是逐字解码语言，而是识别句子或思想的高级含义。
由于解码器使用非侵入性fMRI脑记录，Huth表示，尽管使用MRI机器的费用和不便是一个明显的挑战，但与侵入性方法相比，它在现实世界中的应用潜力更大。他说，脑磁图是另一种非侵入性、但更便携的脑成像技术，比功能磁共振成像在时间上更精确，可能与类似的计算解码器一起使用，为非语言人群提供一种交流方法。 胡特说，解码器成功的最令人兴奋的因素是它能够洞察大脑的工作。例如，他指出，结果揭示了大脑的哪些部分负责创造意义。通过对特定区域（如前额叶皮层或顶叶颞叶皮层）的记录使用解码器，研究小组可以确定哪个部分代表了什么语义信息。他们的一项发现是，大脑的这两个部分向解码器表示相同的信息，而当使用来自大脑任一区域的记录时，解码器的工作情况类似。 胡特补充道，最令人惊讶的是，解码器能够重建不使用语义语言的刺激，尽管它是针对听口语的受试者进行训练的。例如，经过训练后，该算法成功地重建了观看无声电影的对象的意义，以及参与者讲述故事的想象体验。他说：“（大脑中）这些东西如此重叠的事实，我们才刚刚开始意识到。”。 对于Kamitani和Nastase来说，Huth实验室的结果还没有经过同行评审，这就提出了一些问题，即解码器是如何处理潜在意义的，而不是文本语言或口语语言。纳斯塔斯说，由于新的解码器检测的是意义或语义，而不是单个单词，因此它的成功可能很难衡量，因为许多单词的组合可以算作“好”的输出。“这是一个有趣的问题，他们正在介绍，”他说。 Huth承认，对一些人来说，能够有效“读懂大脑”的技术可能有点“令人毛骨悚然”。他说，他的团队已经深入思考了这项研究的意义，出于对心理隐私的关注，研究了如果没有参与者的自愿合作，解码器是否可以工作。在一些试验中，当播放音频时，研究人员要求受试者通过执行其他脑力任务来分散注意力，例如计算、命名和想象动物，以及想象讲述不同的故事。他们发现，命名和想象动物最能有效地使解码不准确。 Huth说，从隐私的角度来看，同样值得注意的是，接受过一个人脑部扫描训练的解码器无法重建另一个人的语言，研究中“基本上没有可用信息”。因此，有些人需要参加广泛的培训课程，才能准确地解读他们的想法。 对纳斯塔斯来说，研究人员寻找精神隐私保护的证据是令人鼓舞的。他说：“如果没有这些（隐私）实验，你很容易在六个月前发表这篇论文。”。然而，他补充道，他不相信作者明确表明隐私在未来不会受到关注，因为未来的研究可能会找到绕过研究人员详述的心理隐私权宜之计的方法。纳斯塔斯说：“这是一个问题，像这样的技术的好处是否超过了可能的陷阱。”。
|
