【原】Neural Networks: 山东大学团队提出余弦卷积神经网络用于癫痫脑电检测

近日，山东大学集成电路学院刘国洋助理研究员、周卫东教授团队提出了一种新型余弦卷积网络（CosCNN），并设计了相应的高效参数量化算法使其易于在FPGA中部署。研究结果表明所提出的余弦卷积网络能显著提高癫痫脑电检测的性能，且有望用于其它时间序列分析相关的深度学习模型中。相关成果以“Cosine Convolutional Neural Network and Its Application for Seizure Detection”为题发表在中科院一区Top期刊《Neural Networks》。山东大学集成电路学院为论文署名单位，刘国洋助理研究员为论文第一作者，周卫东教授为通讯作者。

卷积神经网络（CNN）已在计算机视觉领域、自然语言处理领域广泛应用。传统CNN包含多个卷积层，每层通过学习一组一定大小的卷积核来获得深度学习特征。然而，传统CNN通常具有海量参数，具有较高的模型复杂度且容易导致过拟合问题，特别是当训练数据集规模有限时。此外，传统深度学习模型固有的“黑盒”性质也限制了CNN在实际场景中的应用。

近年来，越来越多的研究将深度卷积神经网络（包括1-D CNN和2-D CNN）应用于基于脑电（EEG）的自动癫痫检测系统。癫痫脑电特征波主要包括具有特定幅度的棘波和尖波等周期性频率成分。为了检测这些特征，之前的研究将频谱特征与 CNN 结合，在癫痫检测方面取得了相当大的成功，证明了幅度和频率信息在癫痫脑电检测中具有重要意义。但是这些研究将脑电信号的幅频特征提取与CNN的分类过程分开进行，并且需要进行人工特征选取，难于得到优化的特征和进行高效端到端的癫痫发作检测。受到频谱特征结合CNN模型架构的启发，团队将具有明确幅度和频率信息的三角核函数嵌入到传统的CNN中，用含有少量参数的三角函数取代传统CNN中的可学习核函数，构造一个新型端到端的余弦卷积神经网络（CosCNN）模型，使其能直接从原始信号中直接提取明确的幅频特征并进行分类，实现端到端的癫痫发作检测。

余弦卷积核仅有幅值和频率两个可学习参数，这使得由余弦卷积算子构成的余弦卷积神经网络可解释性增强的同时，参数量显著少于传统卷积神经网络。论文还详细介绍了余弦卷积算子前向传播和反向传播过程的理论推导，以及针对余弦卷积神经网络设计的损失函数。

图1 具有3个输入通道、长度为1024点的输入特征向量与4个长度为33点的3通道余弦卷积核进行卷积的操作示意图

图2 从经过训练的CosCNN中的首层随机选取的12个余弦卷积核

研究团队还提出了一种基于KL散度和余弦查找表的余弦卷积网络后训练量化算法，可以将余弦卷积网络的权值量化为低位宽的整数形式。由于所提出的余弦卷积必须计算不能被直接量化的余弦函数，因此研究团队为余弦卷积网络模型建立了一个量化的余弦查找表来计算余弦值，通过最小化归一化浮点参数激活分布与归一化量化参数激活分布之间的KL散度值来确定最优激活阈值。实验结果表明，所提出的CosCNN后训练量化算法可以使CosCNN模型的参数占用空间在几乎没有模型精度损失的情况下降低近4倍，并且易于在FPGA等硬件上进行部署。

此外，针对量化后的余弦卷积网络模型，研究团队在现场可变编程门阵列（FPGA）上设计了一个余弦卷积算子加速器，并在Xilinx Zedboard开发板上配置并部署了不同结构的深度余弦卷积神经网络以验证所设计的癫痫检测系统的性能。硬件测试结果表明所提出的基于余弦卷积神经网络的自动癫痫检测硬件系统能实现低功耗、高准确率的实时癫痫检测。硬件实现的整体方案如图3所示。在可编程逻辑（PL）部分设计了一个可配置的余弦卷积加速器，实现了余弦卷积、激活的反量化和量化，所有卷积层共享一个存储在PL端BRAM中的量化余弦查找表。ARM处理系统（PS）用于数据准备和预处理，例如接收EEG数据、加载权重和配置加速器。此外，具有浮点权重的全连接层和softmax映射操作也在PS中计算。整个硬件系统的片上总功率为1.762W，其中静态功率为0.144W（8.2%），动态功率为1.617W（91.8%）。在动态功率中，PS占1.546W（95.6%），PL占0.071W（4.4%）。

图3 量化余弦卷积网络的硬件实现方案

研究团队在波恩（Bonn）癫痫脑电数据库和CHB-MIT儿童癫痫脑电数据库上全面评估了所提出的CosCNN模型。针对Bonn癫痫脑电数据库和CHB-MIT儿童癫痫脑电数据库分别设计了不同的余弦卷积网络模型，并将它们的性能与传统癫痫检测模型进行了广泛地比较。在Bonn癫痫脑电数据库中，研究团队复现了三种采用该数据库的基于传统卷积神经网络的癫痫脑电分类模型。并将这些模型中的传统卷积模块替换为余弦卷积模块，然后将得到的分类准确率与原始模型得到的分类准确率进行对比，结果如表1所示。可以看出，替换为余弦卷积模块后的癫痫脑电分类模型的分类准确率均得到显著提升，且参数量也显著下降。另一方面，不同癫痫检测方法在CHB-MIT数据库上检测性能的比较结果如表2所示。结果显示所提出的基于CosCNN的癫痫检测模型可以达到最高的基于段和基于事件的灵敏度（分别为98.12%和99.31%），且用于训练的癫痫事件数量最少，用于测试的EEG数据长度最长。这些结果表明，本研究提出的CosCNN模型具有很好的推广应用价值。

表1 不同方法在Bonn癫痫脑电数据库上的结果对比

表2不同方法在CHB-MIT数据集上的性能比较

第一作者：

刘国洋，山东大学集成电路学院，助理研究员、硕导。个人学术主页：http://

通讯作者：

周卫东，山东大学集成电路学院，教授、博导。主要研究方向包括癫痫脑电检测、脑机接口、深度学习等。Google scholar 论文引用: 3245次;  h-index: 31。

该工作得到了国家自然科学基金、山东省自然科学基金重点项目等资助。

文章链接：

https:///10.1016/j.neunet.2024.106267

—— End ——

仅用于学术分享，若侵权请留言，即时删侵！

投稿请点击 脑机接口社区学术新闻投稿指南

   加入社群  

欢迎加入脑机接口社区交流群，

探讨脑机接口领域话题，实时跟踪脑机接口前沿。

加微信群：