|
脑机接口技术为治疗因中风或者瘫痪而失去语言表达能力的患者提供了具有前景的方案。 本周二，加州大学洛杉矶分校的研究人员报告了基于神经假体的脑机接口让严重肢体和声道麻痹患者重获沟通能力的最新进展 （ClinicalTrials.gov；NCT03698149）。在试验中，研究人员测试了通过无声语音控制（silently controlled speech）神经假体的效果，他们将一名严重肢体和声道麻痹受试者的脑皮层信号（cortical signals）直接翻译成单个字母，并实时将这些字母拼成完整的单词和句子。
（来源：Nature Communications） 研究显示，受试者可以从一个包含 1152 个单词的词汇表里面以每分钟 29.4 个字符的速度组成句子，字符平均错误率（median character error rates）为 6.13%。在进一步的模拟中，他们将这种方法推广到了包含超过 9000 个单词的词汇表中，字符平均错误率为 8.23%。 研究人员表示，这些结果证明了无声控制神经假体通过基于字母拼写方法解码翻译句子的临床可行性，进一步补充了先前经过验证的直接拼写单词（direct full-word decoding）方法。 本文的通讯作者是加州大学洛杉矶分校神经外科主任兼神经外科医生 Edward Chang，第一作者是 Edward Chang 实验室的在读博士 Sean Metzger，主要作者包括该实验室的博士后工程师 David Moses，他负责开发了解码软件。
▲图 | Edward Chang（来源：UCSF Health） “植入式脑机接口技术最主要的优点是训练范式丰富，可以使用多种策略和技巧完成实用的脑控任务。与去年的研究相比，新研究中基于字母拼写的神经假体控制方法其实是一种更底层、更通用的脑控方法。”深港脑科学创新研究院正高级工程师，博士生导师李骁健博士告诉生辉。 “字母拼写方式是更底层和通用的脑控策略”Edward Chang 的研究重点是大脑的言语，动作和学习机制，包括开发先进的脑部映射方法，保护脑部控制语言和运动功能的关键区域。他在刺激特定神经缓解癫痫发作、运动、疼痛和其他疾病的植入设备方面研究经验丰富。 他实验室的中心目标是解释正常说话者和语言障碍患者的言语行为，其中涉及到心理物理学、局部场电位和微电极阵列记录、皮层电刺激和实时信号处理等多种技术。 该实验室正在进行一项脑机接口修复手臂和声音的临床试验 BRAVO，这项试验的目的在于测试皮层脑电图信号用于控制严重神经障碍成年患者运动和语言调节复杂装置的可行性。该试验的第一名参与者代号为 BRAVO1，这是一名 30 多岁的男子，四肢瘫痪、行动受限，且无法发出声音。2019 年，他在左脑的感觉运动皮层上方，脑膜的下方植入了高密度电极列列阵。 研究团队向 BRAVO1 展示了由 50 个词汇组成的短句，并让受试者试着说几遍。在他说的时候，这些单词从该男子的大脑活动中被解码出来，并一依次出现在屏幕上。这一系统能够以每分钟 18 个单词的速度解码大脑活动中的单词，准确率为 93%（中位数为 75%）。
（来源：NEJM） 2021 年 7 月，研究团队在《新英格兰医学杂志》上发表了试验数据，Edward Chang 当时表示，据我们所知，这是第一个成功将因瘫痪导致失语患者的大脑活动直接解码完整单词的案例，这说明通过介入大脑的天然语言机制恢复交流能力极具前景。 与之前的直接拼出单词不同，最新的研究中，身体瘫痪且声道麻痹的受试者默念字母，机器通过识别脑皮层发出的信号解码成单词或者句子。 李骁健告诉生辉，这种字母拼写方式是一种更底层、且通用性更强的脑控策略。以前主要是在封闭集里训练，单词依赖于句子的语境，需要语境帮助分辨，而不同词语间存在发音比较像的情况，机器可能无法直接分辨出来。如果是拼写字母，拼出来的单词就是预期的词，更为准确，鲁棒性更强，缺点是输出速度稍慢。 另一方面，新研究中身体瘫痪且声道麻痹受试者尝试采用无声语音的方式控制神经假体。而去年的试验中，受试者需要通过尝试大声说话控制神经假体。这种基于无声语音的新方法可能会是某些患者日常生活的首选，同时也验证了神经假体应用于完全性声道麻痹患者（例如闭锁综合征患者）的可行性。 大幅扩充词汇库，提升解码速度和精确度上文提到，在最初的试验中，研究人员解码的词汇主要集中在包含 50 个单词的初级词汇表中。受试者可以通过神经假体表达出一些基本词汇或者句子，比如说，“水”、“家庭”和“好”等词，利用这些初级词汇可以组成数百个能够表达受试者日常生活的句子。 最新的研究中，研究人员将访问词汇量扩展到包含超 1000 个单词的词汇库，这涵盖了组成英语句子中 85% 的词汇，能够帮助受试者在日常生活中更高效的使用神经假体。研究人员指出，“升级版”的系统是扩展当前语音解码方法的有效补充，用户能够从词汇表中拼出更多预期的信息。 接下来，研究人员对瘫痪且构音障碍的受试者进行了训练，在训练过程中，研究人员提示参受试者尝试产生码字和手部运动，并使用植入的 128 通道 ECoG 阵列同时记录皮质活动来训练分类和检测模型。训练结束后，受试者进行拼写任务，使用包含 1152 个单词的词汇表实时拼写句子，并尝试默读相应的字母代码。
▲图 | 在句子拼写试验开始时，受试者首先通过默读单词激活拼写系统；然后整个任务期间脑机接口系统从记录的皮层数据中实时提取神经特征。由循环神经网络（RNN）和阈值操作组成的语音检测模型通过处理神经特征检测无声语音，一旦检测到这一操作，即开始拼写过程；在拼写过程中，受试者在每 2.5 秒内拼写出预期的信息；通过一系列模型处理，受试者拼出想要表达的信息后，尝试挤压右手以结束拼写过程并最终确定句子。（来源：Nature Communications） 研究表明，通过深度学习和语言建模技术解码字母序列，无声控制神经假体系统可以帮助受试者更精确、快速拼写单词和句子。其中，在使用包含 1152 个单词的词汇表时，系统能够解码脑电波信号，并以每分钟 29.4 个字符的速度组成受试者想要表达的句子，字符平均错误率约为 6.13%。而此前的系统是在一个包含 50 个单词的词汇表中训练，解码速度为 15.2 个字符，平均准确率为 75%。
▲图 | 在打字任务期间，拼写系统的性能总结（来源：Nature Communications） 由于拼写系统由无声语音尝试控制，研究者评估了无声语音和大声说话两种类型的语音控制对神经活动和性能解码能力的差异。数据表明，无声语音和大声说话模式下诱发的神经激活有一定的相似之处，但并不完全相同。 接下来，研究人员尝试验证了这种方法是否可以扩展到更大的词汇库中。他们使用由 3303、5249 和 9170 个单词组成的三个词汇表来模拟拼写结果，并针对每个词汇表，重新训练在限定范围搜索中使用的语言模型去组成新单词。数据显示，每个词汇表的解码性能都比较高，字符平均错误率分别为 7.18%、7.93% 和 8.23%。单词平均错误率（median word error rates）依次为 12.4%、11.1% 和 13.3%。
（来源：Nature Communications） “总体而言，任意两个词汇表的字符平均错误率和单词平均错误率之间没有显著差距。这进一步表明我们的拼写方法具有通用性，可以推广到更大的词汇库中，从而促进失语症患者流畅沟通。”研究人员总结道。 下一步计划开发无线系统现实中，每年有成千上万的人或因中风、瘫痪或者其他事故或者疾病丧失说话能力，这严重影响了患者的正常生活。近年来，脑机接口系统技术已经在此类疾病上展示出了潜力并已取得了进展。 2021 年 5 月，斯坦福大学 Krishna Shenoy 团队开发出了皮层内脑机接口系统，采用了递归神经网络解码方法，解码人脑运动皮层中神经活动的“手写运动”，并将其实时翻译为文本，从而实现快速将患者脑部的手写想法转换为电脑屏幕上的文本。在当时的试验中，一名受试者可以每分钟输入 90 个字符，在线原始准确率为 94.1%，有望让瘫痪患者不用手也能快速打字。 今年3月，德国神经科学家 Niels Birbaumer 团队为一名处于完全“锁定状态”的肌萎缩侧索硬化症患者植入了 64 微电极阵列的脑机接口，在没有任何自主肌肉控制的情况下，患者通过脑机接口可以形成单词和短语进行交流。研究团队称，这是脑机接口首次被用于恢复没有任何自主肌肉控制能力患者的交流能力。 每一次的研究进展，每一次的临床试验都进一步推动了脑机接口系统的临床应用，也帮助科学家们深入理解大脑的功能和可塑性。不过，脑机接口的临床应用同样也存在亟待解决的难题。
（来源：Mynewsdesk） 以通过脑机接口设备恢复交流能力来说，首先面临的问题是，语言涉及许多不同的大脑区域，大脑通过编码控制嘴唇、嘴巴和声道运动的神经网络，将书写的字母与声音联系起来，并识别语音。当前的记录技术无法以充足的空间和时间分辨率记录所有这些信号，并推进完整解码这些信号。 其次是，思考说单词所产生的信号往往比实际说话所产生的信号更微弱，而且噪音更大。准确提取这种语音模式需要同时考虑分布式低频信号和更局部化的高频信号。 巴斯德研究所听力研究所所长 Anna-Lise Giraud 指出，当前最亟待解决的难题还包括兼容、可长期使用的脑机接口设备，在侵入性和性能上找出最佳方案。比如说，需要考虑脑机接口需要手术植入，植入后所处的液体环境等等。 在 Edward Chang 团队主导的 BRAVO 临床试验中，受试者需要通过手术植入脑机接口，还需要电线连接到计算机设备上读取脑活动信号。该团队计划可以开发“无线”神经假体系统，实现将数据传输到平板电脑上且不会造成较大的风险。“这完全有可能实现，不过硬件的更新也需要时间和精力。”David Moses 对外媒说。 |
|
|
