今天要介绍的是 CVPR 2020上被录用的文章《GhostNet: More Features from Cheap Operations》。论文地址:https:///abs/1911.11907 为了减少神经网络的计算消耗,论文提出Ghost模块来构建高效的网络结果。该模块将原始的卷积层分成两部分,先使用更少的卷积核来生成少量内在特征图,然后通过简单的线性变化操作来进一步高效地生成ghost特征图。从实验来看,对比其它模型,GhostNet的压缩效果最好,且准确率保持也很不错,论文思想十分值得参考与学习。
Toy Experiments论文对图 1 的ghost pair进行了不同核大小的线性变化测试,将左图作为输出右图作为输入训练depthwise卷积,然后使用训练的结果对左图进行变换,计算其变换后与右图的MSE。可以看到,不同的核大小下差值都很小,说明线性变换是有效的,而且核大小的影响不大,所以用核固定为d的depthwise卷积来进行公式3计算。 CIFAR-10将VGG的卷积层替换成Ghost模块进行超参数测试,表3的,表4的。可以看到使用Ghost模块不仅比其它压缩方法更能降低模型的体量,也最能保持模型准确率。对Ghost模块产生的特征进行了可视化,尽管从内在特征线性变换而来,但还是有明显的差异,说明线性变换足够灵活。 Large Models on ImageNet在大型网络上使用Ghost模块,压缩效果和准确率依然很不错。