【原】LMDA-Net：一种基于脑电的通用脑机接口范式和可解释性的轻量级多维注意力网络

基于脑电图（EEG）的脑机接口（BCI）一种强大工具，用于各种应用，如运动康复、大脑功能调节、精神疾病监测和娱乐等。由于其信号获取方便和高时间分辨率，非侵入性EEG已经广泛应用。然而，EEG的低信噪比和低空间分辨率对对解码构成挑战。此外，EEG常常使用不同的范式进行采集，这些范式利用不同的神经科学原理，导致不同信号域中的各种信号特征。通常，基于EEG的活动和状态识别涉及使用先前的神经科学知识生成定量的EEG特征，这可能会限制BCI的性能。虽然基于神经网络的方法可以有效提取特征，但它们经常遇到诸如跨数据集的泛化性差、高的预测波动性和低的模型可解释性等问题。为了解决这些限制，天津大学精密仪器与光电子工程学院的Miao Zhengqing等人提出了一种称为LMDA-Ne的轻量级多维注意力网络。通过特别设计用于EEG信号的两个新注意力模块，LMDA-Net能够有效地整合多个维度的特征，从而在各种BCI任务中实现了改进的分类性能。

文中，研究者提出了一种统一的轻量级神经网络模型，集成了多维度注意力模块（以下简称LMDA-Net），用于不同范式、不同采集系统的EEG识别。LMDA-Net包括三个部分：

（1）基准网络：轻量级浅层网络，主要负责EEG特征提取和分类。

（2）通道注意力模块：一种新颖的注意力模块，可提高原始EEG信号的空间分辨率，适用于神经网络中的特征提取。

（3）深度注意力模块：一种深度信息筛选模块，用于加强不同维度中高维度EEG特征的转换。

    数据集选择

为了验证LMDA-Net的性能，研究者选择了4个高影响力的公共数据集，分别为BCI4-2A、BCI4-2B和BCI3-4a和Kaggle-ERN。这些数据集在不同的采集范式、任务数量和通道数量下进行了记录，并包含了不同的被试内和被试间条件。这些数据集涵盖了脑电记录中常见的ERPs和ERD/ERS。其中，对于ERD/ERS来说，最常研究的范式之一是运动想象（MI），在活动期间特定频带的功率会降低或增加。MI信号通常在时间-频率域中进行特征提取，并具有强烈的振荡特性。鉴于解码这种信号的复杂性，研究者选择了3个具有显著差异的MI公共数据集（BCI4-2A、BCI4-2B和BCI3-4a）进行实验。而ERPs相关的活动通常在时间域中进行特征提取，该活动与时间锁定和相位锁定有关，通常对参与者具有鲁棒性，并包含具有良好立体波形的特征。因此，研究者选择对研究有很大影响的P300-Speller公共数据集（Kaggle-ERN）。

    LMDA-Net架构

LMDA-Net由一个基准网络和两个注意力模块组成：通道注意力模块和深度注意力模块。通道注意力模块旨在提高EEG信号在空间维度上的信息筛选能力，深度注意力模块进一步在深度维度上细化高维EEG特征的信息。通道注意力模块和深度注意力模块可以与任何卷积神经网络集成。LMDA-Net的框架如图1所示。

图1 LMDA-Net的结构。其中C为EEG通道数量，T为一次试验中时间采样点的数量。

以下是对LMDA-Net每个部分的详细介绍：

1、基准网络

LMDA-Net的基准网络是ConvNet的主要特征提取架构和EEGNet中的可分离卷积的组合。基准网络的特征提取架构包括一个时间卷积层，一个空间卷积层和一系列正则化方法。每个卷积层采用可分离卷积来减少网络参数的数量。时间卷积核的大小设置为（24,1,75），其中24是卷积核的数量，1和75分别是空间维度和时间维度的卷积核大小。空间卷积核的大小设置为（9，C，1），其中C是EEG通道数。尽管根据特定的训练集微调卷积核的大小有助于提高分类精度，但固定参数更实用，可以评估神经网络对EEG信号的特征提取能力。因此，研究者在所有实验中都固定了LMDA-Net中的参数。

LMDA-Net与其他网络的另一个不同之处是，随着网络深度的增加，LMDA-Net将卷积核的数量从24减少到9。这主要有两个原因：一方面，在空间卷积层中使用更多的卷积核将使得完全连接层中的参数数量增加，从而使网络很快过拟合并影响特征提取能力；另一方面，EEG信号在时间域和空间域中包含的信息不相等，时间域包含更多的信息，因此需要更多的卷积核来提取特征。

基准网络架构

2、通道注意力模块

从 EEG 采集的角度来看，单个 EEG 电极通道记录的电信号是由多个神经元活动的叠加效应产生的。为了提高 EEG 信号的空间分辨率，一些研究利用源重建技术识别与特定 EEG 活动相关联的神经区域进行进一步分析。然而，这种方法需要强大的先验知识，不适合集成到端到端神经网络模型中，难以从多个范例中解码 EEG 信号。因此，研究者提出了一种新的通道注意力模块来增强神经网络学习 EEG 空间信息的能力，借鉴源重建的思想。通道注意力模块作用于输入数据，并通过张量乘积将输入数据的空间信息扩展到深度维度。

3、深度注意力模块

在计算机视觉领域，深度维度中的特征映射被视为特征检测器。然而，从EEG的时间和空间维度提取的特征是不同的。深度维度中的特征映射不仅关注在输入中“什么”是有意义的，而且还发挥着结合时间和空间特征的作用。因此，计算机视觉中的深度注意力方法不能直接应用于EEG解码。因此，研究者设计了一种新的深度注意力模块适用于EEG解码，详细信息如图2所示。它主要由3个部分组成：半全局池化、本地交叉深度交互和自适应加权。半全局池化在输入特征F的空间维度上执行全局平均池化，同时保留所有时间维度的信息，首先用于促进深度信息的筛选。然后，通过卷积层进一步筛选数据的深度信息。与全连接层相比，卷积层可以促进局部交互并减少参数数量。最后，被筛选的特征被自适应加权。

▲图2 深度注意力模块的架构。其中T’是时间样本的数量，C’是通道的数量，D’是内核的数量。

    实验设置

1、预处理

在特征提取和分类之前，使用带通滤波和归一化对 EEG 信号进行了预处理。使用一个200阶的 Blackman 窗口带通滤波器来滤波原始 EEG 数据，然后根据每个数据集中任务的持续时间对滤波后的原始 EEG 数据进行分段处理。对于 MI 任务，原始 EEG 数据的带通范围为[4, 38] Hz。对于 P300-Speller 任务，带通滤波器的截止频率为1Hz和40Hz。每个实验中的基线是提示前1秒内数据的平均值。

2、测试准则

神经网络模型通常需要一个验证集来监视训练过程并选择最优模型进行测试。验证集通常是从训练集中随机抽样得到的。然而，EEG 信号的信噪比较低，并且训练神经网络模型的数据较少。为避免验证集采用不同的抽样方法引起的测试结果偏差，研究者训练了所有神经网络模型300个epochs，并记录了测试集上最高的分类准确率和最后10个epochs的平均分类准确率。最高的分类准确率代表模型的解码能力，而平均分类准确率代表模型的预测波动性。同时，为了模拟在线部署场景，所有参与者使用 LMDA-Net 相同的初始化方法。

    实验结果

1、数据集对比结果

研究者在相同条件下测试了 LMDA-Net、EEGNet、ConvNet 在4个高影响力的公共数据集上的性能，并将它们与其他代表方法进行了比较。图3显示了对于竞争模型 BCI4-2A、BCI4-2B、BCI3-4a 和 Kaggle-ERN 数据集的分类性能。

LMDA-Net 在BCI4-2A、BCI4-2B、BCI3-4a数据集中表现出最高的分类准确度（78.8％准确度和0.71 kappa值、85.5% 准确度，0.71 kappa值，80.7% 准确率，0.61 kappa值），以及极低的预测波动性，这表明 LMDA-Net 在分类性能方面优于其他模型。在Kaggle-ERN数据集上，尽管LMDA-Net仅有一个时间域卷积层，但通过引入通道注意力模块和深度注意力模块，LMDA-Net可以提取有效的时间特征，并实现比EEGNet和xDAWN + RG更好的分类性能（0.76 AUC）。同时LMDA-Net具有较低的预测波动性，LMDA-Net平均精度为0.74 AUC，优于具有0.73 AUC的xDAWN + RG。

从上述结果可以看出，LMDA-Net在以上四个数据集上的分类性能优于其他竞争模型，这表明LMDA-Net在各种任务的EEG解码中具有更好的泛化能力。同时，LMDA-Net的低预测波动性和短的训练时间使其在实际在线BCI应用中更加实用。

图3 竞争模型在BCI4-2A，BCI4-2B，BCI3-4a和Kaggle-ERN数据集上的分类性能。

2、消融实验

研究者进一步对上述数据集进行消融分析，以研究LMDA-Net中的通道注意力模块和深度注意力模块的有效性。他们依次删除通道注意力模块和深度注意力模块，并将它们与LMDA-Net和基准网络进行比较。

如图4、5，作为LMDA-Net的特征提取和分类的核心架构，基准网络融合了EEGNet和ConvNet的优点，在所有MI数据集中，基准网络的性能在最高分类准确率和最后10个epoch的平均分类准确率方面均优于EEGNet。由于只有一层时间卷积，基准网络在Kaggle-ERN中的分类性能不如EEGNet，但与仅有一层时间卷积的ConvNet相比，基准网络在Kaggle-ERN中的性能大大优于ConvNet。

通道注意力模块是专门为 EEG 信号设计的模块。移除了 LMDA-Net 的通道注意力模块后的结果显示，除了 BCI4-2B数据集外， LMDA-Net 的性能显著下降，表明通道注意力模块能够有效地规范模型以提取有效的特征。去掉深度注意力模块后，LMDA-Net在所有数据集中的表现都有所下降，这表明深度注意力模块是LMDA-Net不可或缺的一部分。当EEG数据的空间复杂度太高时，复杂的模型在没有数据降维的情况下不再有优势。然而，LMDA-Net中注意力模块的整合引入了一种有效的加权方法，在BCI4-2A和Kaggle-ERN数据集中，通道注意力模块和深度注意力模块的整合大大提高了基准网络的分类性能。这也使得LMDA-Net在所有经过测试的四个数据集中的表现优于EEGNet和ConvNet，使LMDA-Net成为更适合基于EEG的BCI应用的网络模型。

图4 LDMA网络结构的消融研究。

3、可解释性

Class activation map (CAM) 是一种可视化技术，用于可视化基于CNN的模型中对预测有重要影响的输入数据区域。在众多CAM工具中，Eigen-CAM计算并可视化学习特征的主要成分，可以在不需要修改模型架构或反向传播梯度的情况下，稳健可靠地定位对象。相比于其他方法，Eigen-CAM显示出更好的定位最具有判别力的区域的能力。因此，研究者选择了Eigen-CAM作为可视化工具来定位LMDA-Net所学习的特征。为了阐明LMDA-Net在从Kaggle-ERN数据集中提取特征时注意的时间和空间位置，使用Kaggle-ERN数据集中的所有训练数据来训练跨参与者模型。使用训练好的模型依次预测每个测试参与者的所有实验，并选择高置信度的预测正确的实验作为可视化的输入数据，得到图5的结果。

图5 通过特征CAM可视化的ERPs和LMDA Net的时间和空间特征的比较。

图5（B1）和（B2）分别显示了所选正确和错误反馈试验的通道Cz处ERP的时间过程和LMDA-Net的时间特征可视化结果。为了便于比较，时间特征可视化的结果具有与ERPs曲线相同的时间坐标，并且被纵向拉伸并显示为ERPs曲线的背景，黑色虚线标记了时间特征可视化的最大值。可以看出，时间特征可视化的结果与白色虚线相关，该虚线反映了Cz通道对应的正确反馈和错误反馈ERP之间的差异。Cz通道记录的0.365s左右的正向成分被称为pos-ErrP，正向成分之前的第一个负向成分被称为neg-ErrP。从时间特征可视化的结果来看，LMDA-Net在时间域中的焦点与N1、N2和P300相一致，这表明LMDA-Net学习的判别特征与先前的研究一致。图5（C1）和（C2）是在显著时间的输入信号拓扑图，用于与图5（C3）和（C4）进行比较。图5（C1）显示在0.2秒时输入信号的拓扑图在不同事件之间几乎没有差异，而在0.365秒时拓扑图有明显差异。然而，输入数据的拓扑图无法反映通道的重要性。研究者选择通道Cz、P7和P8分别研究ERN的时间响应。图5（C3）和（C4）显示了LMDA-Net在显著时间的空间特征可视化。尽管在图5（C1）中，0.2秒时输入信号的不同类别之间的拓扑图差异很小，但在图5（C3）中的空间特征可视化显示LMDA-Net在通道P7上对正确反馈事件具有明显的关注。图5（C4）显示出空间特征可视化在错误反馈和正确反馈之间有显著的差异，当识别错误反馈事件时，LMDA-Net对通道Cz、F7、P8和O2非常关注，这反映了LMDA-Net进行空间特征提取的合理性。

为了获得LMDA-Net的空间特征可视化，研究者提出了一种新算法。由于参与者之间的运动意象信号存在很大的个体差异，因此从BCI4-2A数据集中选择了两个代表性参与者A03和A06进行分析。前者在手动特征提取算法和自动特征提取算法中都具有良好的分类性能，而后者则一直表现出较差的分类性能。选择每个参与者每个任务中前5个高置信度的正确预测试验作为算法中的输入数据，并获得了图6。如图所示，A03的空间特征可视化结果表明，LMDA-Net在分类时主要关注C3和C4通道。与ERD / ERS的空间映射不同，LMDA-Net提取了不同任务之间的判别特征。因此，空间特征可视化结果反映了不同运动意象任务中通道的重要性。对于不同的任务，LMDA-Net会关注不同的通道，这表明在A03数据中，空间域具有良好的可分性。此外该算法还可以为无法使用BCI范式者（如A06）提供空间特征可解释性。图6中，LMDA-Net在不同任务中的空间关注度都集中在通道POz上，并且与其他通道相比具有更高的关注度，且POz的空间可视化值也远远超过A03中最显著通道的值，这表明A06的数据在空间领域中具有较差的可分性。

图6 来源于BCI4-2A数据集中参与者A03和A06所训练的LMDA-Net模型的空间特征可视化。

综上所述，这篇研究提出一种名为LMDA-Net的通用轻量级多维注意力网络，用于处理跨多种范式的EEG解码。提出并验证了通道注意力模块和深度注意力模块，用于有效提取特征并联合集成不同维度上的高维特征。通过引入少量参数，两个注意力模块在MI和P300-speller的基准网络中提高了解码能力。在4个公共数据集上的实验结果显示，与其他代表性方法相比，LMDA-Net在所有测试数据集中均实现了最高的分类准确度和低的预测波动性，表明LMDA-Net是适用于多种范式的通用EEG深度学习体系结构。此外，为解决EEG识别中神经网络的可解释性问题，研究者提出了适用于诱发反应和内源活动的神经网络可视化算法，可视化结果不仅与过往神经科学中的研究保持一致，也为分类准确度提供了直观的解释。总之，LMDA-Net是一种高效的特征提取网络，并且具有足够的潜力，使其成为基于EEG的BCI应用的重要基石。

文章最后，介绍一下我创立的"脑机 AIGC机会圈"知识星球，星球宗旨是研究新一轮AI与脑机接口革命。星球将持续分享AIGC、BCI等资源、内容。邀请行业大佬、相关专家等加入，一起学习AIGC、BCI。

星球将会为你提供什么？

1.最新AIGC、BCI的技术分享；

2.ChatGPT相关知识和使用经验；

3.持续跟踪分享AI大模型、AGI、BCI的相关知识；

4.链接志同道合的伙伴开展项目，寻找分享商业机会。

注明：限时优惠中。感兴趣的朋友欢迎加入一起迎接这场AIGC、BCI革命，寻找更多可能性。

—— End ——