|
说起神经网络，当然不得不提起的就是Hinton大神，Hinton是加拿大多伦多大学计算机系的教授，是杰出的机器学习和人工智能的学者。与 Lecun、Bengio 合称为深度学习的三大神，是现在深度学习领域最火的人物。 那上面提到神经网络和深度学习，这两者之间有什么区别呢？其实简单的说来，深度学习就是改造后的深层神经网络。先来I说说神经网络。 神经网络是从80年代开始火起来，并且在当时被认为是人工智能的希望，在理论上神经网络可以表示与或运算，那么多层就可以表示任意的任意的与或运算。并且发明了反向传播算法（BackPropagation，BP算法），用来最优化求解神经网络。 那么到了90年代，神经网络就渐渐开始没落。为什么呢？一个是因为神经网络在理论上并不完善，没有严谨的理论支撑。并且神经网络一旦层数变多，变深，最优化求解就变得非常难，然而此时出现了支持向量机（Support Vector Machine，SVM）。支持向量机是一个在理论上有严谨证明的方法，所以此时SVM开始火起来，并且被认为是神经网络在人工智能领域的继任者。更有甚者，此时在著名的计算机杂志上，有关神经网络的文章都非常难发表，但是与SVM相关的文章却特别容易发表。 到了21世纪，也就是00年后，具体说来是2006年，神经网络又一次焕发光芒，这次他换了一个名字叫做深度学习。由Hinton、Lecun、Bengio三大神联合在Nature上发表了一篇有关深度学习的文章，也就是从2006年开始，深度学习开始一发不可收拾。这是Hinton等人从80年代一直不懈的坚持，坚持了90年代的没落期，一直坚持到06年的再次辉煌。那么为什么神经网络能又一次再次辉煌呢？ 主要包括以下几个原因：计算能力的增强、大数据的支持、神经网络学习的技巧。在从80年代到06年这差不多20年的时间里，发生了太多的事情，CPU的计算能力在按照摩尔定律发展着，互联网的崛起，带来的大数据，Hinton这些老前辈们对神经网络的坚持。赋予神经网络以深度学习的名称，首先在图像领域发力，然后在语音、自然语音等各个人工智能领域发力，取得了惊人的成绩。 在图像领域，ImageNet比赛，近些年来在深度学习的使用后，提高了20多个百分点，从70%多到接近100%。此外涌现了大量的图像识别领域的公司，像商汤科技（Sense Time），旷视科技（Face++）等，马云在支付宝上刷脸技术的演示也展示了人脸识别技术在深度学习的帮助下，已经非常成熟。 在语音识别领域，微软研究人员通过与hintion合作，首先将RBM和DBN引入到语音识别声学模型训练中，并且在大词汇量语音识别系统中获得巨大成功，使得语音识别的错误率相对减低30%。科大讯飞、百度等公司或研究单位，也在进行深度学习在语音识别上的研究。 在自然语音处理领域，基于深度学习的word2vector模型相对于传统的词袋模型（bag of words），也取得非常优异的成绩。 最后贴一张深度学习领域的三大神之一Hinton的照片。 |
|
|
