|
人工智能的主流算法Deep Learning深度学习的历史，堪称Deep History, 也是深度学习三剑客Geoff Hinton, Yann LeCun 和Yoshua Bengio共同走过的30年艰难而辉煌的不悔人生。他们如何从当年的地下小团体成为今天引领人工智能的风云人物，来看看其中的精彩故事。 Geoff Hinton，谷歌大脑研究小组的负责人，出生在英国，1977年在爱丁堡大学获得博士学位，开始对模拟神经网络着迷。之后在加拿大多伦多大学任教，2013年他的公司DNNresearch被Google收购。他被称为深度学习教父。 Yann LeCun, Facebook人工智能研究小组FAIR的主任，出生在巴黎，在 Université Pierre et Marie Curie获得博士学位。曾在AT&T Bell Labs工作多年，2003年起在纽约大学NYU任教，2013年获小扎邀请加盟Facebook。 Yoshua Bengio – Université de Montréal大学教授。出生在法国，在McGill University获得博士学位，曾在MIT跟随Michael Jordan教授做博士后研究，后任职 AT&T Bell Labs，1993年起在Université de Montréal任教。 Geoff Hinton, Godfather of Deep Learning 这个故事要追溯到1956年，美国认知心理学家弗兰克·罗森布拉特（Frank Rosenblatt）基于神经元的理论发明了一种模拟神经元的方法。纽约时报称之为与'E-brain teaches itself.' 这个被Rosenblatt称为感知器Perceptron的发明，可以学习如何将简单的图像分类为三角形和正方形。当时是在巨大的机器上实施模拟，缠绕着厚重的电线，但这为神经网络创立了理论和实验基础。 Rosenblatts发明的电脑有八个模拟神经元，由电机和拨号盘连接到400个光检测器。每个神经元都接收到来自光检测器的信号的一部分，将它们组合起来，并且根据它们添加到哪里，输出1或0。这些数字组成对感知器所看到的事物的描述。当然，最初的结果完全无效。之后Rosenblatt使用一种称为监督学习的方法来训练感知器，以正确区分不同形状。他向感知器显示一个图像以及正确的答案，然后，机器将调整每个神经元对其输入信号的关注度，将这些“权重”转移到将产生正确答案的设置。 在试过多次之后，这些调整使计算机具有足够的智能，可正确地对之前从未见过的图像进行分类。今天的深度学习网络使用复杂的算法，并拥有数百万个模拟神经元，它们之间有数十亿个连接，也是以同样的方式训练的。 Rosenblatt预测，感知器很快就能够学会向人打招呼。他的想法成为人工智能新生领域的基石。当时研究工作的重点是使感知器具有更复杂的网络，排列成多个学习层的结构，在图层中连续传递图像或其他数据，使感知器能够解决更复杂的问题。 不幸的是，Rosenblatt的学习算法当时对于多层结构的神经网络不起作用。在1969年，曾与他一起上过高中的人工智能先驱，MIT的权威人士Marvin Minsky，和知名专家Seymour Papert一起，写了一本批评感知器学派的书Perceptrons，扼杀了当时对神经网络的研究兴趣。 Minsky表示，多层次神经网络的结构并不会使感知器强大到有实用价值。人工智能学者们也因此放弃了学习式软件的想法。他们转而使用逻辑来产生智能 ：比如下棋的能力。神经网络则被推到了计算机科学的边缘。 2012年， 基于深度学习CNN网络的AlexNet在ILSVRC竞赛的ImageNet上大放异彩。 深深影响了做图像目标检测UC Berkeley的Jitendra Malik， 他鼓励博士后Ross Girshick采用CNN技术到图像目标检测上。Ross Girshick刚从他的博士导师Pedro Felipe Felzenszwalb那里毕业， 读博期间导师和他一起发明了DPM算法， 改进了Navneet Dalal和Bill Triggs 提出的HoG特征方法，成为当时的经典。 Ross Girshick不辱使命， 在2014年利用CNN成功取代了HOG、DPM等特征提取， 结合Selective Search做区域推荐， 再结合SVM做分类算法， 成功推出R-CNN，轰动世界。 开启了深度学习上的图像目标检测。 随后，何凯明也基于SPM推出了SPPNet。同时，RCNN在成功结合RoI技术、RPN技术后迅速改进推出了Fast RCNN 和Faster RCNN。 为以后的YOLO、 SSD、AttratioNet、G-CNN、Mask R-CNN等网络打下扎实的深度学习基础 |
|
|
