|
2023年8月23日，《Nature》期刊一口气发表了两项独立的脑机接口方向的研究。 一项来自加州大学旧金山分校华裔科学家张复伦团队，另一项来自斯坦福大学的神经科学家弗朗西斯·威利特(Francis Willett)团队。两项研究都旨在帮助那些因脑损伤和疾病而失去语言能力的人恢复语言能力。 两组研究团队分别展示了各自最先进的脑机接口系统性能——在解码速度和准确性上分别打破了新纪录。具体来说，脑机接口系统可以将神经信号翻译成合成声音所说的文本或单词。其解码语音的速度分别为每分钟62个单词和78个单词。自然对话的速度约为每分钟160个单词。词汇量超过1000个单词。这些进步为那些无法说话的人提供了以接近正常说话的速度进行交流的能力。 弗朗西斯·威利特(Francis
Willett)在新闻发布会上表示：“现在可以想象这样一个未来，我们可以让瘫痪的人恢复流畅的对话，使他们能够自由地说出他们想说的任何话，而且准确度高到足以被可靠地理解。”
在斯坦福大学的研究中，患者正在参与研究（图片来源：Steve Fisch） 下面我们分别看一下两项研究的细节。 # 来自斯坦福大学的Willett团队的研究 来自斯坦福大学的Francis R. Willett团队的研究中，67岁的Pat Bennett患有运动神经元疾病，也被称为肌萎缩侧索硬化症，这种疾病会导致肌肉逐渐失去控制，导致行动和说话困难(即保留了一些有限的口面部运动和发声能力，但无法产生可理解的言语)。
研究团队尝试给患者的大脑体感运动皮层植入了阵列电极(共包含128个电极)，用于收集单个神经元活动。参与者在BrainGate2试点临床试验中根究显示器上的提示试图做出个人的口面部运动(图1a,b)，说出单个音素或说出单个单词。研究人员记录了四个微电极阵列的神经活动——两个在6v区(腹侧运动前皮层)10，两个在44区(布罗卡区的一部分)。
图1 口面部运动和言语尝试的神经表征 研究人员然后利用RNN对采集到的大脑信号进行解码，并且搭配一个语言模型共同用于从神经元活动中预测发声。 最终结果非常惊人，利用该系统，患者能够以平均每分钟62个单词的速度进行交流，而且125000个词汇量中错误率为23.8%，50个单词的词汇错误率为9.1%。 # 来自加州大学旧金山分校张复伦团队的研究 来自加州大学旧金山分校华裔科学家张复伦团队的研究中，47的Ann，在18年前由于脑干中风后失去了说话的能力。 张复伦团队采用了与Willett团队不同的方法。研究人员在大脑皮层表面放置嵌入了253个 ECoG 电极的阵列，可以同时记录数千个神经元的平均活动(图2a)。并通过手术植入感觉运动皮层的左侧“面部区域”——大脑中服务于口腔和面部肌肉(包括声道)的部分。
在该研究中，参与者在屏幕上看到一个句子作为文本提示，并被指示在视觉提示后默默地尝试说出这个句子(具体来说，她试图默默地说出这句话，而不发出任何声音)。这与想象或内心语言不同，因为她试图尽其所能地使用她的发音器。
同时，研究人员对所有253个ECoG电极记录的神经信号进行处理，提取高伽马活动(HGA;70 ~ 150Hz)和低频信号(0.3 ~ 17Hz)。之后训练循环神经网络模型来学习这些ECoG特征与手机、语音特征和发音手势之间的映射，然后我们分别使用它们来输出文本、合成语音音频和动画虚拟化身(图2a)。该模型以每分钟78个单词的速度从1024个单词组成句子，单词错误率为25.5%。或者，将大脑信号直接翻译成合成语音，对于1024个单词的词汇，单词错误率为54.4%；当词汇量小一些，错误率有所下降(119个单词的词汇量为8.2%)。
图1 声道麻痹参与者的多模态语音解码 张复伦团队尝试解码面部表情，并使用数字化身再现，这样可以为文本或语音提供视觉反馈，极大地丰富了参与者的沟通能力。与之前报道的基于ECoG脑机接口相比，该项研究在词汇量、通信速度和语音解码的多功能性方面都有显著的提升。 —— End —— 仅用于学术分享，若侵权请留言，即时删侵！ 更多阅读 重磅突破！UC伯克利：脑机接口根据大脑活动重建音乐（附音频）
加入社群 欢迎加入脑机接口社区交流群， 探讨脑机接口领域话题，实时跟踪脑机接口前沿。 加微信群： |
|
|
