漫话深度学习及其应用（1）
胡经国
一、深度学习概述
深度学习（Deep Learning，DL），是机器学习（Machine Learning，ML）领域中的一个新的研究方向；它被引入机器学习使其更加接近于最初的目标——人工智能（Artificial Intelligence，AI）。
深度学习是学习“样本数据的内在规律和表示层次”；在这些学习过程中获得的信息，对于诸如文字、图像和声音等数据的解释有很大的帮助。它的最终目标是让“机器能够像人一样”具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个“复杂的机器学习算法”，在语音和图像识别方面取得的效果，远远超过先前的相关技术。
深度学习在搜索技术、数据挖掘、机器学习、机器翻译、自然语言处理、多媒体学习、语音、推荐和个性化技术，以及其他相关领域，都取得了很多成果。深度学习使机器模仿“视听和思考等人类活动”，解决了很多复杂的“模式识别”难题，使得人工智能相关技术取得了很大进步。
二、深度学习的3类主要方法
1、3类主要方法简介
深度学习是“模式分析方法”的统称；就具体研究内容而言，主要涉及以下3类方法：
⑴、基于“卷积运算”的卷积神经网络
基于“卷积运算”的神经网络系统，即：“卷积神经网络”（Convolutional Neural Network，CNN）。
⑵、基于“多层神经元”的多层自编码神经网络
基于“多层神经元”的多层自编码神经网络，包括：自（动）编码（器）（Auto Encoder）以及近年来受到广泛关注的“稀疏编码”（Sparse Coding）两类。
⑶、深度置信网络
以“多层自编码神经网络”的方式进行“预训练”；进而结合鉴别信息，进一步优化神经网络权值的深度置信网络（Deep Belief Network，DBN）。
通过“多层处理”，在逐渐将“初始的低层特征表示”转化为“高层特征表示”以后，用“简单模型”即可以完成复杂的“分类等学习任务”。由此，可将深度学习理解为进行“特征学习”（Feature Learning）或“表征（示）学习”（Representation Learning）。
以往，在将机器学习应用于现实任务时，描述“样本的特征”通常需要由人类专家来设计，这被称为“特征工程”（Feature Engineering）。众所周知，“特征的好坏”对于“泛化性能”具有至关重要的影响，人类专家设计出“好特征”也并非易事。而“特征学习（或表征（示）学习）”则通过机器学习技术自身来产生“好特征”；这使得机器学习向“全自动数据分析”又前进了一步。
2、3类主要方法相结合
近年来，研究人员也逐渐将这几类主要方法相结合起来。例如，对于原本是以“有监督学习”为基础的“卷积神经网络”，结合“自编码神经网络”来进行“无监督学习”的预训练；进而利用“鉴别信息微调网络参数”形成的“卷积深度置信网络”。与传统的学习方法相比较，由于深度学习方法预设了更多的“模型参数”，因而模型训练难度更大。根据统计学习的一般规律可以知道，“模型参数”越多，就需要参与训练的数据量也越大。
在20世纪八、九十年代，由于计算机计算能力（算力）有限和相关技术的限制，可用于分析的数据量太小，因而深度学习在“模式分析”中并没有表现出优异的识别性能。
3、3类主要方法的研究与应用
自从2006年，Hinton等提出快速计算“受限玻耳兹曼机”（Restricted Boltzmann Machine，RBM）网络权值及偏差的CD-K算法以后，RBM就成为了“增加神经网络深度”的有力工具，导致后面使用广泛的DBN（Deep Belived Network，深度信任网络）（由Hinton等开发并且已被微软等公司用于语音识别中）等“深度网络”的出现。
与此同时，“稀疏编码”等由于能自动从数据中提取特征也被应用于深度学习中。基于局部数据区域的“卷积神经网络”方法，近年来也被大量研究。
三、深度学习译义与流程图
1、深度学习译义
深度学习是机器学习的一种；而机器学习则是实现人工智能的必经路径。
深度学习的概念来源于“人工神经网络的研究”；含有多个“隐（藏）层”的“多层感知器”就是一种深度学习模型。
深度学习通过组合“低层特征”，形成更加抽象的“高层表示属性类别或特征”，从而发现“数据的分布式特征表示”。
研究深度学习的动机，在于“建立模拟人脑进行分析学习的神经网络”；它模仿人脑的机制来解释数据，例如图像、声音和文本等。
2、深度学习模型与流程图
⑴、流程图
下图为：含有多个“隐（藏）层”的深度学习模型（图源：网络）。
从一个输入中产生一个输出所涉及的计算，可以通过一个流程图（Flow Graph）来表示。
流程图是一种“能够表示计算”的图。在这种图中，每一个“节点”表示一个基本的计算以及一个计算的值；计算的结果被应用到这个节点的“子节点”的值。考虑这样一个“计算集合”，它可以被允许在每一个节点和可能的图结构中，并且定义了一个“函数族”。“输入节点”没有父节点，“输出节点”没有子节点。
⑵、流程图特别属性：深度
这种流程图的一个特别属性是“深度”（Depth），即：从一个输入到一个输出的最长路径的长度。
传统的“前馈神经网络”能够被看作拥有“等于层数”的深度（比如，对于输出层为隐层数加1）。SVMs（Support Vector Machines，支持向量机）有深度2（其中，一个对应于核输出或者特征空间；另一个对应于所产生输出的线性混合）。
3、人工智能研究的方向
⑴、专家系统
人工智能研究方向之一，是以所谓 “专家系统”（Expert System）为代表的，用大量“如果－那么”（If-Then）规则定义的，“自上而下的思路”。
⑵、人工神经网络
“人工神经网络”（Artificial Neural Network，ANN），标志着另外一种“自下而上的思路”。人工神经网络没有一个严格的正式定义。它的基本特点是：试图模仿人类大脑的神经元之间传递、处理信息的模式。
（未完待续）
2
|
|
