论文笔记（一）. Identity mapping in Deep Residual Networks

作者：Kaiming He，Xiaoyu Zhang，Shaoqing Ren ，and Jian Sun

Abstract

这篇文章是作者就上一篇论文：Deep Residual Learning for Image Recognition 的深入探讨和研究。此篇文章从理论和实验上论述了ResNet的有效性，分析了 ResNet 中加入的 Identity mapping 为什么比较好，为什么它能让梯度在网络中顺畅的传递而不会爆炸或消失。同时就ResNet1202出现的降质问题，提出了一个新的残差单元，进一步提高了残差网络的性能。（cifar10: 4.62%)
code:

Introduction

ResNet结构：H(x)=x+F(x)

作者提出了一个更通用的表达式：

原始的ResNet由于shortcut是恒等映射，所以h(x)=x
作者认为ResNet的性能很好主要是因为identity mapping的存在，为进一步提高网络的性能，应该关注”direct“ 路径，更多的引入identity mapping，同时保障信息在前向传播和反向传播过程的顺畅性。
核心思想是保证信息传播路径的“clean”来缓解优化问题。

本文提出了一种恒等映射：f(y)=y，及去掉原来的relu函数，是信息直接流向下一个残差block。

（虚线：训练 实现：测试）
实验证明了该结构进一步提升了网络的性能。

Analysis

如果addition操作之后是恒等映射，则Residual network的数学表达变成：


L:任何深度 l:浅层深度

后向传播公式

公式表现为两个项之和，第一项直接通道，可以把深层的梯度传递到任意浅层，可以看出浅层的梯度很难为0，第二项为卷积通道，不可能一直为 -1，所以不管参数多小，梯度也不会消失。

恒等跨越连接的重要性

作者把原来的identity mapping改成线性映射，并分析其影响（h(x)=kx )



此网络的后向传播过程受λ控制，若λ>1，则第一项会非常大，因而会导致梯度爆炸；若λ<1，则第一项会非常小，甚至消失。反向传播的信号只能从第二项传递，但是其优化难度更大。综上，这个结构妨碍了信息的传播，恒等映射更好。

Experiment on Skip connection

在shortcut上添加各种结构，进行对比试验，试验结果证明了恒等映射最好。

On the Usage of Activation Functions

之前的网络结构都是假设f是恒等映射，这一部分研究relu激活函数的影响，并提出了一个“pre-activation”结构，能进一步提高了网络的性能。
对比实验：

网络的变化过程

Analysis

这种结构有双重效果：
1.缓解了优化难度。此结构中合并之后是恒等过渡，使得梯度的传播更加顺畅。其次减少了信息的流失，使得下一个block保存更多的信息。
2.减少过拟合。新结构多加了一个BN层，使得信息更加规范化。

Result