|
作者：Nagesh Singh Chauhan，译者：YiYi
如今高新技术实验室里，每天都在上演人机交互的过程，最常见的，残疾人通过训练自己的思想来控制机器人的四肢。而人类期望有一天能够用我们的思想操纵宇宙飞船，将我们的大脑下载到电脑上，并最终创造出半机器人。特斯拉和SpaceX的首席执行官收购了Neuralink公司，旨在建立大脑和计算机之间的直接联系。随着过去几十年科技的迅猛发展，人类和机器之间的界限已经开始缩小。在机器的帮助下，科幻小说中壮观的精神控制世界慢慢向现实靠近。目前这些新技术的前沿是脑机接口(BCI)和人工智能(AI)，虽然BCIs和AI以往是相互独立开发和应用的。但是，现在越来越多的科学家们希望将两者结合起来，使脑电信号操纵外部设备过程更高效。 BCI有时也被称为直接神经接口或BMI(Brain-machineinterface)，是一种实现人脑和外部设备相互交流信号的技术。通过将神经元信息转换成指令，能够控制外部软件或硬件，因此它使人类不受身体限制而直接控制机器。BCIs通常被用于辅助有运动或感觉障碍的人正常生活。
大脑和脑机接口之间的双向连接(双向接口) 一个方向是BCI将大脑活动发送给计算机，计算机将大脑活动转换成被动运动指令，另一个方向是计算机直接将信息发送到BCI用户的大脑。和被动无创BCI不同的是，主动BCI与大脑直接连接。 人类的大脑充满了神经元，每当我们思考、移动、感觉或记忆时，就会激活这些神经元工作，神经元将信息以生理或电信号的形式从身体的一个部位传递到另一个部位。这些电信号有时以最高150 m/s的速度传播。信号路径大部分互相绝缘，但仍然存在一部分的泄露。这些泄露的电信号就是BCI设备能检测并处理的脑电图(EEG)。通过EEG可以读取来自人脑的信号，并将其发送到放大器。放大后的信号被BCI计算机程序处理识别，并依据识别的结果控制设备。 埃塞克斯大学脑机接口博士后研究员Davide Valeriani表示，人类结合技术能够实现比人工智更强大的功能。例如，当我们根据感知结合推理来做决定时，利用神经技术可以改善我们的感知。这可以帮助我们在某些情况下做出更好的决定，例如从安全摄像头看到一个非常模糊的图像并决定是否干预的过程。 基于用于测量大脑活动的电极，分为三种脑机接口类型：侵入性、部分侵入性和非侵入性。 侵入性BCI
侵入性BCI 在神经外科手术中，侵入性BCIs一般以芯片的形式被直接植入大脑灰质。这些芯片上有数百个短针，刺穿大脑皮层，科学家们能够通过芯片读取大脑中数百个神经元的放电情况。然后，神经信号被发送到计算机转换器，该转换器使用特殊的算法将神经信号解码可被计算机识别的语言。由另一台计算机接收识别解码后的信息，并据此给机器发送指令。侵入性设备能够获得最高质量的神经信号，但在灰质中容易形成疤痕组织，如此便导致信号变得更弱，甚至可能随着身体的排异反应而丢失。 局部侵入性 BCI 局部侵入性BCI装置被植入颅骨内，但在大脑皮层。相比非侵入性BCIs能产生更高分辨率的信号，避免头骨组织使信号偏转和变形，并且不像侵入性BCIs容易在大脑中形成疤痕组织。大脑皮层电描记术(ECoG)从颅骨下测量大脑的电活动，方法与非侵入性EEG方法相同，但电极被嵌入在皮层上方一个轻薄的塑料衬垫中。 无创BCI
无创BCI也称为脑电图仪(EEG) 脑电图仪是最简单、侵入性最小的BCI方法，常见装置为一套全脑电极，其他的还有脑磁图(MEG)或磁共振断层扫描(MRT)。电极可以读取大脑信号。不管电极的位置如何，其基本机制都是一样的：电极测得神经元之间电压的微小差异信号，然后信号被放大和滤波。由一个计算机程序解读这些信号，程序能将信号的时序变化以线条形式呈现在一张图纸上。虽然颅骨会屏蔽大量的电信号，并且会扭曲接收到的信号，但这对于大多数人来说是最易接受的一种形式。
脑电描记术(EEG) 脑电图仪(EEG)通过附着在头皮上的小金属盘(电极)检测大脑的电活动。我们脑细胞通过电脉冲进行交流，并且一直保持这种电活动，甚至是睡眠状态。这种活动在脑电图记录上以波浪线的形式出现。
BCI的基本组成 大脑活动通过一系列处理被转换成能够被识别控制外部设备的信号。设备将信号反馈到人体，从而实现闭环。 产生大脑信号的方式有两种： 1．主动刺激受试者来产生诱发电信号(图片、声音、视频等)或让被试主动想象动作； 2．直接获取实验对象自发存在的脑电信号。 根据Quintiq软件工程师Sjoerd Lagarde的说法，“刺激生成诱发信号的优势是，信号检测更容易，因为你可以控制刺激强度和时刻。而单从被试者那里读取脑电信号是比较困难的。” 神经活动信号检测方式多种多样，其中我们最熟知的是EEG和功能磁共振成像(fMRI)。EEG检测大脑的电活动，fMRI通过检测与大脑血流相关的变化来间接获得神经活动信号。这些方法各有利弊，EEG有更高的时间分辨率(可以直接检测到神经活动时刻变化)，而fMRI有更好的空间分辨率(图片数据可以呈现活动发生的位置)。对于其他类型的测量技术来说，时空分辨选择的想法基本上是相同的。 初步测得的神经信号数据往往包含很多噪音，主要包括一些运动伪迹和仪器噪声。为了后续处理和识别，这噪音需要过滤掉。当实验对象产生主动信号时，我们一般已经知道想要检测到的信号类型，比如P300波事件相关电位，当一个与任务相关的刺激出现时，大脑就会产生P300诱发电位，这个波在EEG中表现为为一个较大的峰值，而后续可以用不同的机器学习技术来检测这些峰值。 当我们检测到感兴趣的信号时，一般希望可以通过它们产生有效反馈以达到帮助人类的要求。例如，受试者可以使用BCI通过运动想象来控制鼠标活动。这个过程一般最关心的是如何尽可能有效地使用你获得数据，并且将BCI系统的误差降到最低。目前的BCI系统精度相对较低，偶尔会出错(例如，计算机误认为你想象了左手边的移动，而实际上，你想象了右手边的移动)。 首先，大脑信号准确度很容易被各种生理(如眨眼、肌动伪影、疲劳和注意力水平)和环境伪影(如环境噪声)所影响，这给EEG信号的解码识别造成很大困难。由于BCI的主要任务是神经信号的识别，因此判断式深度学习模型是目前最流行、功能最强大的信号处理算法。一般来说EEG数据是非常嘈杂的，因为它很难得到一个明确具体的信号。神经细胞之间相互交流，通过头骨和头皮传播到EEG传感器的大脑活动很难被直接解读。因此，从被破坏的神经信号中提取有用信息数据并建立一个适合不同工作状态的稳健脑机接口系统十分重要。此外，由于脑电生理信号的非平稳特性，BCI的信噪比较低。在BCI中分类EEG数据的准确性取决于测量通道的数量、用于训练分类器的数据量，以及信噪比(SNR)。在所有这些因素中，SNR是实际情况中最难调整的，虽然已经开发出了一些预处理和特征工程的方法来降低噪声，但这些方法(如时域和频域特征选择和提取)耗时较长，可能会导致提取的特征信息丢失。另外，特征工程高度依赖于人类在特定领域的专业知识，人类的经验可能有助于捕捉某些方面的特征，但在更一般化的条件下是不够的。因此，需要一种算法自动提取具有代表性的特征，人工智能(AI)特别是深度学习算法为自动提取可识别特征提供了更好的选择。不过目前的AI研究主要集中在静态数据上，因此无法对快速变化的大脑信号进行准确分类。通常需要新的学习方法来处理BCI系统中的动态数据流，例如替代梯度算法，神经形态模拟算法等。 到目前为止，深度学习在BCI应用中已经得到了广泛的应用，并成功地解决了上述问题 深度学习有三个优势。首先，它跳过了耗时的预处理和特征工程步骤，直接处理原始大脑信号，通过反向传播学习可识别的信息。此外，深度神经网络可以通过深层架构捕捉有代表性的高级特征和其潜在依赖关系。最后，许多研究证明深度学习算法比传统的分类器如支持向量机(SVM)和线性判别分析(LDA)更强大。这对BCI系统有相当意义，因为几乎所有的BCI问题都可以被视为一个分类问题。 卷积神经网络(CNN)是BCI研究中最流行的深度学习模型，它可以利用输入的神经活动信号如fMRI图像、自发EEG等之间潜在的空间依赖性。CNN在一些研究领域取得的巨大成功证明了它具有极大的可扩展性和可行性(通过可用的公共代码)。因此，BCI研究者有更多的机会将CNN应用到他们的工作中。
基于EEG数据的级联CNN-GRU/LSTM模型的实现 网格划分是将多通道脑电信号转化为二维图像序列的第一步，二维网格时间序列通过CNN和递归层级联进行训练、验证和测试。 生成式深度学习模型主要用于生成训练样本或数据增强。换句话说，生成式深度学习模型通过提高训练数据的质量和数量形式，对BCI系统起到辅助作用。在BCI领域，生成算法主要用于重构或生成一批脑信号样本，以增强训练集。BCI中常用的生成模型有变分自编码器(Variational Autoencoder,VAE)、生成式对抗网络(Generative Adversarial Networks, GAN)等，越来越多的研究报告着眼于采用CNN或混合模型来进行特征学习和分类，例如RNN和CNN具有很好的时空特征提取能力，人们自然将它们结合起来进行时空特征学习。
基于AI的BCIs原理图描述 随着AI对信号的处理，BCI的应用得到了极大的扩展，包括光标控制、听觉控制、肢体控制、拼写设备、躯体感觉和视觉假肢。其过程主要如下，首先，微电极检测来自人类大脑皮层的信号，并将其发送给AI系统。其次，AI负责信号处理，包括特征提取和分类，然后将处理后的信号输出，实现上述功能。最后，反馈信息被发送到大脑皮层来调整功能。 其他关于BCI的一些应用包括： 睡眠模式分析；疲劳和精神负荷分析；情绪检测，例如，监测使用者的大脑活动，根据温度、湿度、光线等因素调整空间的系统。近期，日产公司与Bitbrain合作推出了首个脑-车接口原型；情绪分析；控制装置(机械臂等)；利用脑电波的身份识别系统；使用经颅直接刺激改善身体运动和反应时间；工作分析/生产力最大化，目前正在开发能够分析操作员的认知状态、精神疲劳、压力等的应用程序，例如飞行员疲劳状态认知网络识别系统；营销领域：有研究指出，EEG可以用来评估不同媒体的商业和政治广告所产生的关注水平。BCIs还可以为这些广告引起的印象程度提供解释，理论上可以据此优化网络广告或电视广告；教育领域：BCIs可以帮助识别每个学生学习信息的清晰度，教师可以根据个性化结果对每个学生尽心有效互动；娱乐领域：BCIs可以用于电子游戏，例如，玩家有朝一日可以只使用BCI来控制自己的角色。电影业中，BCIs可以根据观众的大脑活动，辅助制作互动式电影。获或许在未来，观众能够通过他们共同的大脑活动来共同控制电影，实现彻底的沉浸式体验。军事领域：目前，BCI已经被美国国防高级研究计划局(DARPA)用于士兵驾驶无人机。
来源： https://www.ncbi.nlm./pmc/articles/PMC7327323/ https:///a-beginners-guide-to-brain-computer-interface-and-convolutional-neural-networks-9f35bd4af948 https:///uploads/portals/Brain-Computer_Interface.pdf https:///merging-with-ai-how-to-make-a-brain-computer-interface-to-communicate-with-google-using-keras-and-f9414c540a92 https:///deep-learning-algorithms-and-brain-computer-interfaces-7608d0a6f01 https://www./post/brain-computer-interface-bci-and-artificial-intelligence |
|
|
