当前BCI系统通常很难自然地提供软机器人多任务实时控制所需的各种控制命令。来自于西安交通大学、北京航空航天大学、香港科技大学等高校研究机构的研究人员联合提出利用眼电图(EOG)、脑电图(EEG)和肌电图(EMG)的组合，开发一种新的多模态人机接口系统(mHMI)，以产生大量的控制指令。在实验开始前，每位参与者都被告知实验的步骤，并按要求坐在一张距离22英寸LED显示器前约0.5米的舒适椅子上。在情绪识别实验中，要求参与者凝视屏幕并尽可能保持静止。在测试运行前，参与者进行了20次试验的校准运行以收集训练数据，并基于训练数据建立SVM模型。在线测试也包括20个试验。在训练或测试期间，每种情绪类别包括10个试验，每个试验包含一个片段。此外，所有的剪辑都是随机顺序出现的。
图1 实时情绪识别系统的实验范式
各试验的实验范式如图1所示。每个试验开始时都有一个5秒的提示，提醒参与者接下来的视频片段是积极的还是消极的。参与者被要求仔细观看视频片段，并体验其中包含的情感。说明是以下视频是正面/负面的视频，请做好准备。然后，分别播放代表积极/消极情绪的视频剪辑，并同时收集和处理EEG数据。然后，在线识别结果作为反馈显示在屏幕上。在这项研究中，微笑/哭泣的卡通脸被作为反馈呈现，分别代表检测到积极/消极情绪。反馈持续5秒钟，然后是5秒钟的休息时间。值得注意的是，与健康受试者相比，DOC患者的实验程序之间存在一些差异。具体而言，总共有五个session在不同的日子进行，每个session包含10个试验的校准运行和10个试验的测试运行。每个试验的程序与健康受试者的程序相似。此外，两次相邻的试验之间至少有10秒钟的间隔，可以根据患者的状态进行调整。研究人员进行这些设置主要是因为DOC患者容易疲劳。为了说明积极情绪和消极情绪对应的神经模式，研究人员绘制了基于不同频带的地形图。如图2(a)所示，每个电极的分类权重为所有五个子带权重的平均值。从SVM训练模型中提取权重值，并使用5倍交叉验证方案取平均值。从图中可以清楚地看到，左额叶区域与积极情绪相关，而消极情绪主要在右半球处理。此外，在上面的图中，研究人员还观察到了另外一项研究中所提到过得反应：额中线区域与积极情绪的过程相关。图2(b)描绘了消极情绪和积极情绪在5个波段(delta、theta、alpha、beta和gamma)的平均功率变化。
图2 (a)分类权重和(b)平均DE特征的地形图
[这些地图是所有受试者和试验的平均值]
具体来说，对所有10名健康受试者和所有试验的特征进行平均。消极情绪和积极情绪的神经模式存在明显差异。在delta带，右前区对积极情绪的激活多于对消极情绪的激活。左前区表现出相反的特征。在theta带中，积极情绪时前额叶和枕叶表现出比消极情绪时更高的功率。在alpha波段中，右侧额叶区域的功率在消极情绪时下降，而在积极情绪时增加。在beta和gamma波段的神经模式中，积极情绪在外侧颞区的功率显著高于消极情绪。与健康受试者一样，研究人员对每个单一特征的分类性能进行了探讨，其中前20个显著性特征的分类准确率如表6所示。为了进一步说明患者积极和消极情绪状态的神经模式，绘制了相关的地形图。由于患者之间存在较大的个体差异，因此研究者分析了在线准确率显著的患者(即P1、P4和P6)的数据。
对于患者P1，表6列出了离线分类的准确性和前20个特征的位置。前20个特征中的大多数都落在delta带，这与健康受试者不同。与健康受试者不同，包含前20项特征的电极分布更为分散。从图3(a)中可以看出，在负性情绪状态下，前额叶、左颞叶和顶叶区域的δ和θ带激活程度更高。特别是在前额区域的α波段观察到一种不对称现象。在阿尔法区，在消极情绪状态下，左侧前额叶区域更加活跃，而在积极情绪状态下，右侧前额叶区域更加活跃。
图3 P1在五次运行和不同情绪试验中的平均DE特征地形图
P4患者在所有患者中均实现了最高的在线准确性，并且排名前20位的特征分布在δ，θ和α谱带上，与健康受试者的结果相似(见表6)。与前20个特征相关的电极主要位于颞叶，中央区域和枕叶。对于积极情绪，额中线有明显更高的θ反应。同时，如图3(b)所示，在对积极情绪的反应中，顶叶和额叶区域在α带的激活更多。在beta和gamma频段，枕叶对积极情绪状态的激活强于消极情绪状态。
图3 P4在五次运行和不同情绪试验中的平均DE特征地形图
P6患者的前20个特征大多位于delta和theta频段(见表6)，与前20个特征相关的电极分布与P1患者相似。从患者P6的地形图(图3(c))可以看出，对于负面情绪，双侧区域的delta和theta带的激活程度更高。在alpha带中，前额叶和顶叶区域对消极情绪的激活强于对积极情绪的激活。
图3 P6在五次运行和不同情绪试验中的平均DE特征地形图
此外，与视觉信号处理相关的枕叶在两种情绪状态下均被激活。在这项研究中，研究人员提出了一种面向任务的辅助和运动功能训练方法，该方法使用mHMI进行日常生活活动，并通过MI，眼睛运动和手势对软机器人进行强大的实时控制。该系统集成了EEG，EOG和EMG模式，从而以惯用的表达方式增加了对软机器人的可能控制命令。研究人员表示该项研究有望构建一种更人性化的mHMI，用于实时控制软性机器人，以帮助健康或残疾人友好、方便地进行基本手部运动。An EEG/EMG/EOG-Based Multimodal Human-Machine Interface to Real-Time Control of a Soft Robot Hand
