|
2017年被称为人工智能的发展元年，而人工智能能够有今天的发展势头，并非偶然的，是其背后的深度学习技术的发展所带来的，今天我们就通过深度学习教父Hinton的传奇故事来看看深度学习到底是如何引爆今天的人工智能的。 2016年，AlphaGo与李世石的人机世纪对战的新闻，让人工智能从概念上真正走到了实际的生活之中，全世界第一次意识到，原来只能在科幻小说和科幻电影里看到的人工智能，第一次在现实世界打败了人类顶尖高手，震惊了全世界。
AlphaGo对阵李世石 时间往前倒推60年，在1956年，当约翰·麦卡锡在达特茅斯（Dartmouth）学院第一次提出“人工智能”概念之时，他并没有意识到，在不经意间推开了一扇通往新世界的大门。在历经60载的跌宕起伏，人工智能终于在2017年迎来了前所未有的爆发。 2017年深圳CPSE和深圳高交会，最吸引眼球的展台就是人工智能，尤其是人脸识别领域的独角兽企业商汤科技，可谓是人气爆棚。 说到人工智能，就不得不提到深度学习，深度学习的概念由Hinton等人于2006年提出，源自计算机神经网络，指通过计算机技术来模拟人脑学习的过程，使得机器具备学习的技能。 第一个计算机神经网络的诞生早在1956年约翰·麦卡锡提出人工智能概念之前的1943年，神经网络作为一个计算模型的理论最初由科学家Warren McCulloch和Walter Pitts在他们的论文里提出，人类科技文明的进步在很多时候是在模拟生物时而取得突破性进展的(比如飞机，潜艇等)，计算机神经网络也一样，希望通过模拟人脑，让机器能够更加智能。 然而事情并非一帆风顺。 要知道，人的大脑有100多亿个神经细胞，至今人类仍然未搞清楚人脑的全部运行机制。所以想要通过模拟人脑来让机器获得人工智能，谈何容易。
神经网络 1957年，康奈尔大学教授Frank Rosenblatt提出“感知器”的概念，并通过算法定义出了世界上第一个神经网络，感知器技术在六十年代的美国很流行，但Frank Rosenblatt通过算法定义的神经网络是单层神经网络，碰到了一些无法解决的问题，而且当时计算机技术及计算能力的限制，使得这个世界上第一个计算机神经网络，逐渐被人淡忘了。 在此后的十几年，以神经网络为基础的人工智能研究，进入了低潮期，逐渐被人遗忘。 Geoffrey Hinton六十年代计算机神经网络的低潮期，有一个高中生Geoffrey Hinton，对人脑的工作原理特别着迷。当时有一个同学告诉他，人脑的工作原理就像全息图一样。创建一个3D全息图，需要大量的记录入射光被物体多次反射的结果，然后将这些信息存储进一个庞大的数据库中。大脑储存信息的方式居然与全息图如此类似，大脑并非将记忆储存在一个特定的地方，而是在整个神经网络里传播。Hinton为此深深的着迷。
Geoffrey Hinton 简单的说，大脑对于事物和概念的记忆，不是存储在某个单一的地点，而是像全息照片一样，分布式地，存在于一个巨大的神经元的网络里。 对Hinton来说，这是他人生的关键，也是他成功的起点。 大学毕业后，Hinton选择继续在爱丁堡大学读研，并确定把人工智能(神经网络)作为自己的研究方向。 而这个选择，遭到了周围朋友的质疑，在计算机神经网络的低潮期，以此为课题，是需要极大的热情和勇气的。 神经网络当时被诟病的一个问题就是巨大的计算量，早期的计算机神经网络采用的算法纠错量，耗费的计算量，和神经元(节点)的平方成正比，这使得神经元无法增加到更多，限制了神经网络的发展。 而Hinton和David Rumelhart通过合作，把纠错的运算量，降低到了只和神经元的数目成正比。 而后Yann Lecun，在1989年又提出了“反向传播算法在手写邮政编码上的应用”，并用美国邮政系统提供的上万个手写数字样本训练这个神经网络系统，最终错误率只有5%。 基于此他提出了卷积神经网络，并开发出了商业软件，在支票识别领域占据了美国20%的市场份额。 计算机神经网络开始慢慢复苏。 然而有一个人又把计算机神经网络带入了第二个寒冬。 Vladimir Vapnik的支持向量机(SVM)Vladimir Vapnik出生于苏联。1958年，他在撒马尔罕(现属乌兹别克斯坦)的乌兹别克国立大学完成了硕士学业。1964年，他于莫斯科的控制科学学院获得博士学位。毕业后，他一直在该校工作直到1990年，在此期间，他成为了该校计算机科学与研究系的系主任。 1995年，他被伦敦大学聘为计算机与统计科学专业的教授。1991至2001年间，他工作于AT&T贝尔实验室(后来的香农实验室)，并和他的同事们一起发明了支持向量机理论。他们为机器学习的许多方法奠定了理论基础。 那么为何他能通过SVM算法带到一个更高的高度，而把计算机神经网络给比下去了？ 计算机神经网络非常精巧，最擅长的是局部最优解，却在寻求平衡点时，表现不佳，但在寻求最佳平衡点时，SVM却表现抢眼。
支持向量机(SVM) 打个比方，要判断这是不是一棵树，通过对计算机神经网络进行训练后，计算机神经网络甚至连这棵树有多少片叶子也学习来作为判断这是否是一棵树的标准，但每棵树的树叶肯定不一样，这就导致了，它太精准了，反而无法分辨。 但如果将训练的标准定的太简单，比如将绿色作为判定依据，那么只要看到绿色的东西，就会被识别为树。 而SVM，恰好解决了这个平衡。 第二个寒冬计算机神经网络的研究再次进入低潮，计算资源的有限，再一次限制了计算机神经网络的发展，在Hinton和他的同事们苦苦研究计算机神经网络时，当时AI普遍的研究方向恰恰与他们相反，都在试图寻找捷径，直接模拟出行为，而不是试图模拟人脑来实现。
寒冬 大家可能无法想象，在九十年代，每次对于计算机神经网络算法的调整，重新训练的时间往往是几周，别说应用，就是研究都很难进行下去。 但在这样艰难的环境下，Hinton和Yann LeCun仍然坚持了下来，但学术界对于他们的研究仍然无法提起兴趣。 计算机神经网络在等待着一个质变。 计算蛮力Intel的CPU资源，一直是以其时钟频率的增长来实现其计算能力的增长，这就类似于一个人，从小到大，一步一步长大，力量也越来越大。Intel这样一种CPU发展的路线，一直稳稳当当的霸占着计算资源的头把交椅。 然后我们的伟大领袖毛主席说过，人多力量大。 Intel的这种平衡被一个台湾人打破了，他叫黄仁勋，台湾人。谁也不知道他是不是真的听了毛主席的话，但他创立的Nvidia(英伟达)，却真正是在践行毛主席的格言：人多力量大。
英伟达 Nvidia(英伟达)刚成立时，是面向个人电脑的游戏市场，主要推销自己的图像处理芯片，并发明了GPU(Graphics Processing Unit)这个名词，Nvidia(英伟达)为大家所熟知的恐怕就是其Geforce系列游戏显卡。 GPU跟CPU不一样，他的运算频率不高，但他是通过增加并行处理能力的方式来处理其对象的，这也跟他所需要处理的对象不同有关，图像处理要处理的是图像，图像要处理的是一个一个很小的像素，处理每个很小的像素，并不需要很强的计算能力，但因为图像处理对于实时性要求很高，因此要求大量的并行处理。 而计算机神经网络所需要处理的计算，正好跟图像处理非常类似，每个神经元所需要的计算资源不多，但因为整个神经网络包含大量的神经元，GPU的出现，简直就是专为计算机神经网络而设计。 此时GPU的人多力量大，并行计算的效率远超CPU。 而此时，无论是CPU还是GPU，在遵循摩尔定律的道路上，野蛮的增长着。 2010年，英伟达的480 GPU，一秒钟计算速度达1.3万亿次浮点运算，而到了2015年的Titan X GPU，已经达到6.1万亿次浮点运算每秒，五年时间，翻了近五倍，而其价格也只有1-2千美元左右，要知道，1996年底，1万亿次浮点运算每秒的人类超级计算机，价值是几百万美元。 计算机神经网络，终于等来春天。 深度学习的诞生计算机神经网络的发展经历跌宕起伏，在大部分时间都是处于低潮期，长期被学术界瞧不起，以致于任何研究项目只要提到'神经网络'，基本都会被简单粗暴的直接拒绝，很难获得研究经费。 而Hinton和他的同事们仍然在苦苦坚守。 此时的Hinton也熬白了头发，2003年，Hinton还在多伦多大学，当着他的穷教授。也就是在这一年，Hinton及其团队在一次向CIFAR(Canadian Institute for Advanced Research)的基金负责人申请资金支持时，该负责人问他为什么要支持他们的研究项目。 他们只好回答说：“如果CIFAR要跳出舒适区，寻找一个高风险项目，那就是我们了！” 最终CIFAR却同意了资助他们十年，从2004年到2014年，总共一千万加元。 就像中国人相信改名能改运一样，Hinton可能觉得“神经网络”这个名字实在是太不吉利了，当然也可能是缘于之前几十年“神经网络”的口碑太差，摇身一变，变成了“深度学习(Deep Learning)”了。
深度学习的概念由Geoffrey Hinton提出 而Geoffrey Hinton，也享有“深度学习”之父的美誉。 自此，深度学习正式诞生。 深度学习经历大起大落，终于在计算资源由量变积累到质变的时刻，迎来了它的再一次热潮。 当然，深度学习能够发展到今天，计算资源的野蛮增长，发挥了很大的作用，但Hinton及其所有坚守在计算机神经网络研究领域的人，也通过各种办法，不断的调整算法，使得算法也得到了非常大的进步，解决了之前碰到了的很多问题。 ImageNet大赛崭露头角ImageNet 是一个计算机视觉系统识别项目名称， 是目前世界上图像识别最大的数据库。是美国斯坦福的计算机科学家，模拟人类的识别系统建立的。
ImageNet大赛是图片识别领域的'竞技场' 也许大家还记得文章前面提到的Vladimir Vapnik的支持向量机(SVM)，虽然深度学习在Hinton的带领下终于迎来春天，但大家并不觉得以计算机神经网络为核心的深度学习就很强，而就在2010年ImageNet竞赛，以SVM技术为核心的NEC和伊利诺伊大学香槟分校联合团队，仍然以28%的误识率斩获第一。 2011年是以Fisher Vector的计算方法夺冠，将错误率降低到了25.7%。 2012年，以Hinton为首的团队(带领他的两个研究生)，以他们最新的深度学习算法，应用到ImageNet问题上，将误识率降低了15.3%，一举拿下冠军，而排名第二的误识率高达26.2%。 所有其他团队，都是以类似SVM的向量机技术为基础，这是神经网络二十年来，第一次在图像识别领域，大幅度领先，学术界为此沸腾。 结语深度学习能够迎来今天的成功，并非一蹴而就的，它比很多技术的发展还来得更加曲折，要不是Hinton的苦苦坚持，深度学习不会有今天的发展成就，也就不会有今天人工智能在各个行业的高速发展。 可以说就是Hinton的坚持，才让深度学习能够引爆全球人工智能的发展，造就今天AI的风口，Hinton因此被誉为“深度学习教父”实至名归。 |
|
|
