|
昨天，ACM把2018年图灵奖颁给了深度学习领域的三位学者。他们是：Geoffrey Hinton、Yann LeCun、Yoshua Bengio。 Yann LeCun、Geoffrey Hinton、Yoshua Bengio 1947年生，谷歌副总裁和工程师，AI研究机构VectorInstitute的首席科学顾问和多伦多大学的名誉教授。 1964年生，蒙特利尔大学计算机科学与运筹学系教授，活跃在产业界。 今天我们就来聊一聊这位72岁获图灵奖的Geoffrey Hinton。 Hinton教授是机器学习的开创者，使得计算机可以独立模拟程序、自己解决问题。特别重要的是，他开辟了机器学习子领域--深度学习：让那些机器像一个蹒跚学步的孩子一样，模仿大脑的神经网络形式。
Hinton出生在英国一个学术背景显赫的世家。在他小时候，他妈就给了他一个人生选择题："做学者，或是做失败者。"当Hinton还是一个7岁的孩子时，他就知道自己日后肯定要读博。 后来，当被问起对于生长在一个显赫之家中作何感想时，Hinton说："压力。"Hinton说，自己一辈子都在压抑、沮丧中挣扎，而工作就是他释放压力的方式。 1960年，Hinton还是高中生，有一天，一个朋友告诉他，人脑的工作原理就像全息图一样。大脑并非将记忆储存在一个特定的地方，而是在整个神经网络里传播。 这句话对Hinton的人生有着不一般的意义，成为他之后人生的起点。 Hinton是个很爱折腾的人，回头思考他这种爱折腾，就像是一个人在睡眠中不停地变换姿势，以便寻找觉得最舒服的那个。他不停的折腾，最终的方向似乎是最大程度地点燃他头脑最深处的那团火花。 他说，"我有一种教育上的多动症。"最开始，他去克利夫顿大学，毕业后进入剑桥的国王学院攻读物理和化学，一个月后就退学了。一年后，他再次申请攻读建筑学，上了一天课后，又转而攻读物理学和生理学，然后又是退学。最后，他改读哲学，这回他呆够了一年。"我对哲学仿佛产生抗体，因为我想了解大脑是如何运转的。" 从哲学系出来，他开始研究心理学，不久之后也退了学。退学后，他在乡下当过一段木匠。不过也没闲着，每个星期六早上，他都会去附近的图书馆，在笔记本里匆匆记下关于大脑工作原理的理论。 从1972年开始，他又开始了学习生涯，在爱丁堡大学开始神经网络研究探索，攻读爱丁堡大学Christopher Longuet-Higgins麾下的人工智能博士学位。Christopher Longuet-Higgins是位桃李满天下的教授，他的学生包括诺贝尔奖获得者John Polanyi，多伦多大学化学家和理论物理学家Peter Higgs等。 Hinton认为，神经网络一定是未来趋势，但导师坚持传统AI取胜。导师的观念代表当时学术界的主流观点，那就是——计算机最佳的学习方式，就是规则和逻辑。而Hinton认为，计算机将像人脑一样学习。"就像小孩一样，你不会告诉他们‘这个是主动，这个是被动。’过段时间，他们自然就明白了。神经网络也是如此。" 博士毕业，他辗转在美国的几所大学继续他的研究，由于不满于大部分AI研究工作是由美国国防部资助。于是他辞职，并搬到基本无军事资助的加拿大。加拿大给了他一份不错的工资和自由的研究空间。 神经网络被束之高阁也是有历史原因的。1957年，康奈尔大学的科学家Frank Rosenblatt发布了世界上第一台神经网络机器。这个机器被称为感知器（Perceptron），它的任务是图像识别。理论上，如果你给感知器看一张苹果的照片，它就能告诉你这是"苹果"。这个感知器运行在IBM的机器上。1958年，纽约时报预测这将是第一个能像人脑一样思考的设备，"（感知器）将能走路、说话、观察、书写、自我复制，意识到它自己的存在"。 然而并没有。这个机器左右不分，更何谈与人脑媲美。彼时神经网络基本在学术圈被除名了，然而这并没有阻挡Hinton。 1980年代，Hinton参与使用计算机模拟大脑的研究，这也便是如今所说"深度学习"概念，然而学术期刊因为不认可神经网络这一理念而频频拒收论文。 "大脑必然以某种方式运作，但肯定不是编好的程序，"Hinton说，他相信神经网络并没有错，问题在于计算力。要让计算机发现图片的意义，需要先给它数百万张图片，但当时的设备还做不到。样本量太小了。 后来人们用"寒冬"形容当时神经网络在学术界的境况。 1986年，Hinton和小伙伴完成著名的论文Experiments on Learning by Back Propagation，证明在神经网络中的反向传播可以提供"有趣的"分布表示，提出了影响后世人工智能的新方法。 可惜鉴于当时数据与计算的影响，神经网络无法进行大规模训练。 到90年代末，神经网络和反向传播被机器学习社区大量遗弃，同时也被计算机视觉和语音识别领域忽略。人们普遍认为，学习有用的、多层级的、几乎不靠先验知识的特征提取器并不现实可行。 Hinton和他的神经网络只能坐在学术界的外围。 但也不完全是寒冷。这个期间，发生了一些很重要的事。他有了非常重要的小伙伴。其中就包括Yann LeCun，也就是这次获奖者之一。他是Hinton的博士后学生，也是神经网络的坚定信仰者。 2009年，Hinton以及他两个研究生D.Mohamed等，用神经网络应用于语音的声学建模，在小词汇量连续语音识别数据库TIMIT上，获得了语音识别竞赛胜利，随后，这项基于神经网络的方法被应用于谷歌安卓手机上。 工业界很快注意到变化的发生，微软、Facebook、谷歌等科技巨头开始在这个领域投资。 坐了30多年冷板凳的神经网络终于迎来它的时代。 神经网络的翻身，一方面仰仗计算力的发展，使复杂神经网络的实现成为可能。30年前，并非没人知道神经网络多一些隐藏层效果会更好，只是还没有足够的环境去做到。其次，是算法的进步，尤其是一系列深度学习的算法的提出。 从2009年开始，随着他学生还有无数研究者所做出的一系列贡献，Hinton在深度学习所做的研究开始为人所知并接受，也被人们推举为计算新时代领头人。现在，神经网络涵盖了所有的人工智能算法，并借助科技企业的各类应用传播开来。 2015年，Geoffrey Hinton、Yann LeCun、Yoshua Bengio这三位深度学习巨头曾在Nature上共同发表一篇名为《深度学习》的综述文章，讲述了深度学习为传统机器学习带来的变革。 当然，后来的故事大家都知道了。 Hinton在学术界，突然从默默无闻变成明星。 "我之所以有很大的影响力，是因为我是少数相信这个道路的人之一，所有相信这个方向的学生跟随着我一起工作，我必须选出那些拥有最佳判断力的人。"Hinton说。 现在，Hinton一半时间在多伦多大学教书，一半时间在Google建设神秘的Google大脑。 最后，总结中心思想的时候到了。今天这个故事我觉得讲了两件事：认清自己与坚持下去。这两件事都不容易，无论是科学家还是常人。 以上文章整合自公开报道，整理：《中国教育网络》编辑部，南京大学周会群教授对本文亦有贡献。
|
