 脑电是一种便捷且具备高时间分辨率的脑信号采集方式，近些年，由于范式设计缺陷，性能不足等问题，其是否能作为一种有效的方式解码自然图像，获得关键的客体语义信息仍然有待验证。本文给出了详细的可行性及生物合理性验证：(1)提出了一种自监督框架(Natural Image Contrast M/EEG，NICE)，利用对比学习获得图像信息相关的脑电表征，并在客体识别任务上取得了领先的性能；(2)解析时域、空域、频域和语义信息，验证生物合理性；(3)引入注意力模块捕捉空间信息，提供脑响应模式的隐含证据。这些发现为神经解码和自然场景的脑机接口提供了有价值的启发。
论文链接: https:///abs/2308.13234 代码链接: https://github.com/eeyhsong/NICE-EEG 论文题目: Decoding natural images from EEG for object recognition 01 方法 框架如下图（A）所示。在训练过程中，首先输入刺激-响应对，图像和EEG编码器分别从两种数据中提取表征；随后利用对比学习约束两种模态特征相似度。在测试前，预先处理并平均待识别类别的几张图像的表征获得模版，从而在测试时，比较输入脑电与多个模版相似度，得到识别输出。脑电编码器采用图（B）所示的时空卷积（Temporal-Spatial Conv, TSConv）配合由自注意力（self-attention，SA）或图注意力（graph-attention, GA）构成的空间特征提取模块。图像编码器采用预训练的CLIP图像模块。
02 实验结果 数据及预处理：本文主要采用柏林自由大学提出的Things-EEG2数据集进行验证。其中包括10个被试的训练数据1654个概念*10张图片*4次重复，测试数据200个概念*1张图片*80次重复。其中训练测试的图像概念不重叠。每个图片刺激时间100 ms，空屏100 ms。每个脑电trial从刺激开始截取1000 ms，滤波至[0.1, 100] Hz，降采样至250 Hz。采用基线校准和标准化进行预处理，并叠加平均了所有重复试次。图像数据调整至224*224，并进行规范化。图像数据被提前处理成特征来缩短训练时间。训练过程中随机取740个trials作为验证集。每位被试在单张显卡上约5分钟完成训练。 整体表现：在200-way zero-shot任务上的subject-dependent和subject-independent分类结果如Table 2。NICE框架相较于随机水平和领先方法均取得了显著优势，引入SA和GA后有进一步提升。此外，还对比了不同的脑电和图像编码器，结果如Table 3。当前采用的脑电编码器取得了优势，其他方法同样有良好表现；预训练的图像编码器整体较优，但在端到端训练的情况下，仍有显著表现。这意味着更好的编码器设计和训练可能带来更好的性能。
时间、空间、频域动态分析：根据下图（A）中地形图可以看出，脑电响应在腹侧通路上表现出层次化处理过程。图（B）中不同时间窗的分类结果在刺激出现后100-600 ms内表现出高于随机水平的结果。图（C）中通道消融实验显示枕叶、颞叶、顶叶对结果有显著影响。图（E）中4 Hz附近的theta频段和14-18 Hz附近的beta频段显示出较强响应。
语义分析：为证明是否获得客体语义信息，如下图（A）利用表征相似性分析可见，不同大类别内的特征具有较高的聚合表现。此外，图（B）展示了前5预测类别，可见预测结果和真实标签的相似程度较高，如自行车的预测结果均为具有轮子的交通工具。
数据规模和重复：如下图(A)对比了训练集尺度和重复次数对整体性能的影响。可见在重复次数相等且不断增加图片量的情况下(25%-50%-75%-100%)，准确率均显著提升，且可能具有进一步潜力。当数据量相同不断增加重复次数时(1-2-3-4)，前期有显著提升，但3到4已不显著。此外，测试数据中重复次数决定了实际使用的效率，如图(B)可知当重复次数取10时已经能够达到较好水平，25以后趋于平稳。
模型解释：如上图（C）中，利用grad-CAM绘制了SA和GA的梯度，可见原始数据很大程度被前额叶响应支配，而空间模块获得了一些和视觉处理相关的枕叶颞叶响应。 03 讨论与结论 已有一些工作实现了良好的视觉重建效果，其中语义信息对生成模型有重要影响。本文详细验证了从脑电信号中解码自然图像、获得客体语义的可行性。为图像检索、分类、重建等视神经解码任务提供了良好依据和支撑。 本文接收于国际表征学习大会（ICLR），作者为清华大学生物医学工程学院高小榕教授团队。 —— End —— 来源：脑机接口产业联盟 |
|
|
