深度学习，看完你就懂了

深度学习的概念源于含多隐层的多层感知器的人工神经网络的研究，下面我们通过一幅漫画来了解一下它。

了解了基础概念，下面我们来聊聊稍微深入一点的东西，首先我们来理解一下深度的概念。

从一个输入中产生一个输出所涉及的计算可以通过一个流向图(flow graph)来表示：流向图是一种能够表示计算的图，在这种图中每一个节点表示一个基本的计算以及一个计算

含多个隐层的深度学习模型

的值，计算的结果被应用到这个节点的子节点的值。考虑这样一个计算集合，它可以被允许在每一个节点和可能的图结构中，并定义了一个函数族。输入节点没有父节点，输出节点没有子节点。

这种流向图的一个特别属性是深度(depth)：从一个输入到一个输出的最长路径的长度。

除此以外，深度学习主要还用到以下知识和概念：

1. 线性代数、概率和信息论

2. 欠拟合、过拟合、正则化

3. 最大似然估计和贝叶斯统计

4. 随机梯度下降

5. 监督学习和无监督学习

6. 深度前馈网络、代价函数和反向传播

7. 正则化、稀疏编码和dropout

8. 自适应学习算法

9. 卷积神经网络

10. 循环神经网络

11. 递归神经网络

12. 深度神经网络和深度堆叠网络

13. LSTM长短时记忆

14. 主成分分析

15. 正则自动编码器

16. 表征学习

17. 蒙特卡洛

18. 受限波兹曼机

19. 深度置信网络

20. softmax回归、决策树和聚类算法

21. KNN和SVM

22. 生成对抗网络和有向生成网络

23. 机器视觉和图像识别

24. 自然语言处理

25. 语音识别和机器翻译

26. 有限马尔科夫

27. 动态规划

28. 梯度策略算法

29. 增强学习（Q-learning）

笔者个人认为深度学习的本质就是多层神经网络，两者之间并没有什么本质区别。

深度学习只是数年前几个大牛为了把学术界的目光重新转到神经网络上提出的新名词。

当然，最近有一些深度学习背景下产生的新技巧新设计，但是本质没变。

了解深度学习的前提是你需要已经熟练掌握BP和支持向量机(Support Vector Machine，SVM)的基本只是才可以。

当前主要的深度学习算法有以下几种：

1.卷积神经网络（convolutional neural network）， 这种算法在图像识别中应用广泛。

2.Recursive neural network， 这种算法主要用在时序数据集中，比如语音。

3.neural autoregressive topic model， 这种算法主要用在自然语言处理（主题模型）中。

4.基于autoencoder, restricted Boltzmann machine的深层模型。

5.sum-product network，这种模型是基于和积运算的。

6.基于RBM(限制玻尔兹曼机)的DBN(深度信念网络)。

其中，最著名的就是卷积神经网络（Convolutional neural networks，简称CNNs），它解决了传统较深的网络参数太多，很难训练的问题，使用了“局部感受野”和“权植共享”的概念，大大减少了网络参数的数量。关键是这种结构确实很符合视觉类任务在人脑上的工作原理。

同机器学习方法一样，深度机器学习方法也有监督学习与无监督学习之分．不同的学习框架下建立的学习模型很是不同．例如，卷积神经网络（Convolutional neural networks，简称CNNs）就是一种深度的监督学习下的机器学习模型，而深度置信网（Deep Belief Nets，简称DBNs）就是一种无监督学习下的机器学习模型。

关联阅读：

机器学习，看完你就懂了