- 深度学习是机器学习的一个分支，它能够使计算机通过层次概念来学习经验和理解世界。
由于统计学习理论和支持向量机从理论与实践上解决了包括非线性系统在内的一系列浅层学习问题。之后机器学习的研究重点从分类与预测转向更深入的领域：认知的过程。
认知：也称为认识，是指人认识外界事物的过程，或者可以说是人的感官系统对外界信息进行感知和加工的过程。
对于人来说，与认知活动有关的信息处理，包括有：个体对感觉信号的接收、检测、转换、简约、合成、编码、存储、提取、重建、概念形成、判断和问题解决的信息加工处理过程。
认知过程可以分为两大层次：
1.具体认知（指对客观事物的基本认知，是感知的低级形式），可以分为5个层次：
第一个层次：对强度信息的感知，即量的感知
第二个层次：由专门的器官接收不同的能量形式，由此形成感官系统，成为定性的感知，即感觉。
第三个层次：对对象模式的感知。人的认知能力不是简单的基于图像的匹配过程，而是存在着内在的信息分解和重构的过程，也就是机器学习中的模式识别。——对空间的感知（构型）
第四个层次：同一特征在时间序列上变化的感知能力。对事物运动和变化的感知发展处我们对时间的概念。这个阶段我们称为转换Transition。
第五个层次：事件Event。是指对象在时空中的一个完整的运动序列，有开始、过程和终结。
2.抽象认知（具体认知是构成上层<抽象>系统的基础）
第六个层次：关系Relationship。
第七个层次：范畴Category。范畴是对对象和时间集合的抽象，范畴的感知来源于在空间和时间上具有相似特征的对象的集合。
第八个层次：序列Sequence。序列是对转换的抽象，是某种底层感知或认知（如构型、事件、范畴等）的时间序。序列的作用在于刻画和控制事件。例如，青蛙捕食。
第九个层次：程序Program。程序的一个典型结构就是存在决策点或选择点。范畴的确定性与网络结构的连通性使认知在程序阶段创造了另一种新的机制——迭代。迭代的产生使得思维在时间上有了过程，由此产生了抽象思维，人类开始变得有思想。
第十个层次：原理Principle。程序的本质是主体对外在对象的判断和推理，是一种目的导向的行为，达到目的即停止。而原理或是规律是通过反复历时的对某一类对象实施某一程序，观察归纳出的周期性、确定性的、普遍性的规律和规则。其具有指导性，对程序层次起到高层的控制作用。
第十一个层次：系统System Concept。将各种来自经验的原理和规律组合起来，便形成认知的至高无上的新阶段，这就是认知的最后一个层级——系统观念，也被称为意识形态。
神经系统两种重要的特征：抽象和迭代。
认知系统的层次是通过对底层的抽象实现的，而层次内的功能是有迭代来完成的。
人的大脑的视觉机理：总的来说，人的视觉系统的信息处理是分级的。高层特征是底层特征的组合， 从底层到高层的特征表示越来越抽象；而抽象层面越高，存在的可能猜测越少，越有利于解释。当信号被高度抽象后，在额叶层形成分类判断，最后付诸行动。
Hinton的等人提出的深度学习的基本方法：
使用多层堆叠方法构建一个多层神经网络，也就是说神经网络的上一层输出作为下一层的输入，通过这种方式来实现对输入信息进行分级表达。
其主要观点：
1）多层的神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类。
2）深度神经网络在训练上的难度，可以通过“逐层初始化”来有效克服。
通过loss function来评估优劣。
采用梯度下降算法获得最佳学习方法。
——来自李宏毅的《一天搞懂深度学习》
但是，梯度下降算法并不能保证全局最优，所以需要进一步优化。
深度学习不是一个算法，而是通过多层神经网络构建出的一套算法框架。
具体算法如下：
- 多层感知器。
- 卷积神经网络（LeNet）。
- 递归神经网络（RNN）。
- LSTM网络。
- 稀疏编码器。
- 堆叠的自动编码器。
- 深度置信网络。
- 混合蒙特卡罗抽样。
- 压缩自动编码器。
- RNN-RBM网络。
主要用来解决图像识别、声音识别、自然语言处理的问题。
Theano库
Theano是python-GPU运算库，现在已经发展成使用Deep Learning 模型的综合代码库。
Theano实现的Deep Learning模型包括：多层感知器、卷积神经网络、深度置信网络、混合蒙特卡罗抽样、递归神经网络、情感分析的LSTM网络、压缩自动编码器、RNN-RBM网络等。
1. 多层感知器
2. 卷积神经网络
3. LSTM网络
|
