深度学习几种典型架构

卷积神经网络由LeCun提出。在Kaggle竞赛中取得了巨大成功。

典型的卷积网络有两部分。 第一个是负责特征提取，由一对或多对卷积和子采样/最大池化层组成。 第二部分是经典的全连接多层感知器，将提取的特征作为输入。如下图所示。

卷积神经网络架构

长短期记忆网络（LSTM)

长短期记忆网络是比较流行的一种网络结构。

LSTM架构

长短期记忆网络用两个门来控制单元状态的内容，一个是遗忘门(forget gate)，决定了上一时刻的单元状态有多少能够保留到当前时刻；一个是输入门(input gate)，决定了当前时刻网络的输入有多少保留到单元状态。LSTM使用输出门(output gate)控制单元状态有多少输出到LSTM的当前输出值。

GRU

GRU是 LSTM 的简化版，但在大多数任务中其表现与 LSTM 不相伯仲。

GRU和LSTM对比

相比LSTM， GRU 有更少的参数，因此相对容易训练且过拟合的问题要轻一些，在训练数据较少时可以尝试使用GRU。

更简化的有迷你GRU。

迷你GRU

DB-LSTM

深度双向LSTM

深度双向LSTM

卷积残差记忆网络

卷积残差记忆网络是CNN和LSTM的一种结合。

卷积残差记忆网络架构

Dynamic NTM

Evolvable Neural Turing Machines

Unsupervised Domain Adaptation By Backpropagation

Deeply Recursive CNN For Image Super-Resolution

Recurrent Model Of Visual Attention

MLP with synthetic gradients

Google’s Neural Machine Translation System