分享

十年三突破,深度学习是如何助力人工智能脱离冷板凳的?

 东东Wr 2019-12-13

原创/李威威

人工智能的核心就是机器学习,在20世纪50年代,科学家和数学家们就已经提出了这个观点。英国科学家和数学家阿兰·图灵在1950年提出了这个问题:如果人类可以从已有信息进行推理和逻辑判断来解决问题,那为什么机器不可以这么做呢?这是"人工智能(Articial Intelligencee,AI)"这个概念第一次被正式提出。

"可以",很多人都是这么想的,其实机器学习的原理也不算太复杂。

机器学习(Machine Learning)的手段是让电脑从大量的真实经验、信息和案例中学习,然后会像人类一样吃一堑长一智,在以后遇到同样的问题时,电脑就有能力用学习到的经验做出准确的判断。

1997 年 5 月 11 日,计算机在正常时限的比赛中首次击败了等级分排名世界第一的国际象棋棋手。加里·卡斯帕罗夫以 2.5:3.5 (1胜2负3平)输给 IBM 的计算机程序 "深蓝"。

这是人工智能第一次在正式的棋类游戏中将人类冠军挑落马下,深蓝计算机是采用了一种混合决策的机器学习方法,其算力达到了每秒2亿次。

人们一度相信,随着算力的增加,人工智能将会越来越智能,而终将走入人类的生活。

在之后的几十年,发达国家的政府都在人工智能上投入了大量的研究经费,还有世界顶尖的科学家耗费了巨大的心血和精力来证明"可以"这个答案。遗憾的是,这么多的投入让我们的计算机的运算能力提升了千百倍,人工智能技术尽管有所发展,但离实际的应用还是十分遥远。

现实表明运算能力并不是人工智能的唯一限制,机器学习的方式和数据来源是人工智能发展的另外两大障碍。

网速的提升触发了互联网的爆发,智能手机时代的来临带来了移动互联网的高速发展,无处不在的数据催生出来了"大数据",这给人工智能的发展提供了充足的原材料。

但是人工智能是在进入21世纪后才得以真正的繁盛发展起来的,人工智能领域在过去10年来达到目前的发展高度,技术上最大的功臣无疑是深度学习(Deep Learning)。深度学习利用多层人工神经网络,从极大的数据量中学习,对未来做出预测,让机器变得更加聪明。

十年三突破,深度学习是如何助力人工智能脱离冷板凳的?

人工智能、机器学习和深度学习的关系

过去10年,深度学习是人工智能领域里绝对的王牌主力,其他重要人工智能技术比如:指纹支付,人脸识别,自动驾驶等的发展都得益于深度学习的技术支持。

深度学习的涵盖范围之大,对社会和科技发展的影响之深,使其无论是现在还是在未来10年都会是人工智能领域里最重要的课题之一。

除了深度学习之外,强化学习(Reinforcement Learning)也是近几年来机器学习领域的热门技术。强化学习能使计算机在没有明确指导的情况下像人一样自主学习。在达到足够的学习量之后,强化学习的系统最后能够预测正确的结果,从而做出正确的决定。强化学习和深度学习的整合,让机器学习有了进一步的运用,衍生出深度强化学习(Deep Reinforcement Learning)。

无论是深度学习还是强化学习,在发展到一定程度之后都受到一个瓶颈的困扰:主要的机器学习手段还是来自蛮力计算,而且极其依赖大量的数据来训练系统。

Dueling Neural Networks,又称为Generative Adversarial Networks(对抗性神经网络,GAN),是近年来最有潜力解决这个困扰的重要机器学习模型。GAN的原理是两个人工智能系统可以通过相互对抗来创造超级真实的原创图像或声音。GAN赋予了机器创造和想象的能力,也让机器学习减少了对数据的依赖性,对于人工智能是一大突破。

总结一下:

  • 深度学习的出现催化了人工智能的再次兴起。

  • 强化学习赋予了人工智能自主学习能力

  • 而对抗性神经网络给人工智能插上了想象的翅膀


深度学习:人工智能兴起的催化剂

尽管在2013年才被MIT科技评论列为全球十大突破性技术之一,但事实上,深度学习已经有几十年的发展历史了。

深度学习,也是机器学习的一种,从2006年开始在Geoffrey Hinton、Yann LeCun(杨立昆)、Yoshua Bengio、Andrew Ng(吴恩达)等教授以及学术界、工业界很多研究人员的推动下重新兴起,并在语音(2010年)和图像(2012年)识别领域取得了重大技术突破。

传统机器学习系统主要是由一个输入层和一个输出层组成的浅层神经网。在神经网络里,程序绘制出一组虚拟神经元,然后给它们之间的连接分配随机数值或称"权重",经由反复的训练来实现误差最小化。但是早期的神经网络只能模拟为数不多的神经元,所以不能识别太复杂的模式。

而深度学习事实上包含两部分:"深度"+ "学习",学习不用多说指的就是机器学习,而深度在某种意义上是"深层人工神经网络"的重命名。

深度学习再通俗点说就是指利用深层人工神经网络进行机器学习。

深度学习中的"深度"也可以说是一个术语,指的是一个神经网络中的层的数量。顾名思义,深度学习网络与更常见的单一隐藏层神经网络的区别在于层数的深度,也就是数据在模式识别的多步流程中所经过的节点层数。浅层神经网络有一个所谓的隐藏层,而深度神经网络则不止一个隐藏层。多个隐藏层让深度神经网络能够以分层的方式学习数据的特征,因为简单特征(比如两个像素)可逐层叠加,形成更为复杂的特征(比如一条直线)。

十年三突破,深度学习是如何助力人工智能脱离冷板凳的?

深度学习简单示意图

在深度学习网络中,每一个节点层在前一层输出的基础上学习识别一组特定的特征。随着神经网络深度的增加,神经元节点所能识别的特征也就越来越复杂,因为每一层会整合并重组前一层的特征。第一层神经元学习初级特征,例如分辨图像边缘或语音中的最小单元,方法是找到那些比随机分布出现得更多的数字化像素或声波的组合。一旦这一层神经元准确地识别了这些特征,数据就会被输送到下一层,并自我训练以识别更复杂的特征,例如语音的组合或者图像中的一个角。这一过程会逐层重复,直到系统能够可靠地识别出音素(根据语音的自然属性划分出来的最小语音单位)或物体为止。

一旦算法框架构建起来后,人工神经网络就需要很多的"训练"来达到误差最小化。所以这也是深度学习的名字的由来,深度(多层的神经网络)和学习(大量的数据训练)都是必不可少的。机器学习有三种主要学习方式:监督学习、无监督学习和强化学习。每一种学习方式都可以用在深度人工神经网络的训练过程中。

强化学习:人工智能发展的加速器

如果说深度学习目前是人工智能领域最火爆的技术,那么强化学习的热度也当仁不让地紧随其后。

强化学习属于机器学习的一种方式。

它的基本思想是,学习在不同环境和状态下哪种行为能把预期利益最大化。然而,这种方法一直无法推广到现实世界中的复杂问题上,其中最主要的原因是,现实中可能遇到的情况错综复杂,无法进行枚举。不过,近年来随着设备计算速度的提升,以及深度学习架构的兴起,强化学习得到了真正意义上的成长。深度学习在解决复杂模式识别问题上有了突破性的进步。当深度学习与强化学习结合后,对现实情况的枚举就换成了首先对现实情况做模式识别,然后对有限的模式进行枚举,这就大大减少了计算量和存储代价。这种学习方式也更接近人类思维的模糊判断的特点,被认为是人工智能领域接下来的几年里最值得关注的技术。

十年三突破,深度学习是如何助力人工智能脱离冷板凳的?

Google的DeepMind通过围棋人工智能AlphaGo一战成名,Google也是最早将深度学习与强化学习进行结合的公司之一。

DeepMind将深度学习、强化学习和蒙特卡洛树搜索等方法相融合,开发了一个叫作AlphaGo的围棋程序。2016年,AlphaGo以4:1大胜围棋顶尖棋手李世石,受到全世界瞩目,也让深度强化学习走入人们的视野。

当时,主要的深度学习方法是监督式学习,也就是必须对训练数据进行标注。这项工作通常需要人力完成,而深度学习所需的数据量又十分巨大,所以标注数据的获得经常成为深度学习方法的一大瓶颈。强化学习在一定程度上避免了这个问题,因为它的学习过程不依赖于标注,而是由一个奖励函数来主导。这和人类在大多数情况下的学习方式是一致的,因为多数时候人类的学习过程并没有监督和标注,而是根据产生的结果好坏来调整,如婴儿学习走路的过程。因此,学术界有不少人认为,强化学习是未来机器学习的发展方向。

但是,在目前的情况下,强化学习要达到深度学习的广泛应用程度还有很大的距离。强化学习是一种优势和劣势都十分明显的技术。与深度学习的结合让它在计算上优势显著,但是其劣势也十分突出,就是所需要的数据比其他的机器学习方式都要大得多。

强化学习对超大数据的依赖让它的应用领域有着很大的局限性。比如,在药物研发的应用中,训练数据的获得往往涉及从大批人群中进行组织采样,费用高、耗时长,进行一次算法训练的成本太高,而研发过程中还需要不断地迭代训练。在未来,如何将强化学习高效地应用于现实世界,训练数据将会是研究者需要解决的重要问题。

强化学习方法的工业应用目前还不算多,主要用于那些能够提供大量数据的领域,例如自动生产机器人和自动驾驶汽车、文字,语音和对话系统。

对抗性神经网络:给人工智能插上想象的翅膀

不管是深度学习还是强化学习,目前主要的机器学习手段还是依赖大量的历史数据进行分析和系统训练。这离人类的思考方式还是有很大区别。人类在思考时可以进行泛化,例如,婴儿知道什么是狗之后,再见到其他的狗就能马上知道这是狗。但是机器通过深度学习,可能需要看了100万张不同的狗的照片后,才能以高准确度来鉴别哪张图片是狗。在人工智能的应用和普及过程中,就算有互联网大数据,还是有很多领域无法提供如此大的数据。机器无法进行泛化,这从另外一个方面也反映了机器学习一直只能通过大量数据分析模仿人类的逻辑分析能力,而一直难以实现人类大脑的另一强大功能——想象力。

直到2014年,当时还是蒙特利尔大学博士生的Ian Goodfellow在一次聚会上和友人聊天时突然想到了这个问题的答案——"对抗性神经网络"(GAN)。

他构想的模型会使用两个神经网络(一种简化的人脑数学模型,是现代机器学习的基石),然后让这两者在数字版的"猫狗大战"游戏中相互拼杀。

十年三突破,深度学习是如何助力人工智能脱离冷板凳的?

Ian Goodfellow

这两个网络会使用同一个数据集进行训练。其中一个神经网络叫生成网络,它的任务就是依照所见过的图片来生成新的图片,比如长了两只兔耳朵的狗。而另外一个神经网络叫判别网络,它的任务则是判断它所见到的图片是与训练时的图片相似,还是由生成网络创造出来的"假货",比如,判断那只长着兔耳朵的猫有多大可能是真的。

十年三突破,深度学习是如何助力人工智能脱离冷板凳的?

对抗性神经网络学习示意图

两个网络互相进行对抗,这样就建立起良好的竞争。每个网络都在成千上万的尝试中不断改善自己,而这一切都不需要人力干扰。这样,最终我们就能得到可以以假乱真的"赝品",以及一个十分善于鉴别"赝品"的网络。

十年三突破,深度学习是如何助力人工智能脱离冷板凳的?

Ian Goodfellow的发明可用来创造各种图片,包括室内设计

慢慢地,生成网络创造图片的能力会强到无法被判别网络识破的程度。基本上,经过训练之后,生成网络学会了识别并创造看起来十分真实的猫图片。两个系统可以通过相互对抗来创造超级真实的原创图像或声音,而在此之前,机器从未有这种能力。这给机器带来一种类似想象力的能力。这项技术已经成为过去十年最具潜力的人工智能突破,帮助机器产生甚至可以欺骗人类的成果。Facebook人工智能研究的主管杨立昆认为,对抗性神经网络是"深度学习过去20年来最酷的想法"。

NVIDIA于2017年在明星图片数据库的基础上,用对

抗性神经网络制造出一组十分真实的高像素的假明星图片。

十年三突破,深度学习是如何助力人工智能脱离冷板凳的?

因为只有短短5年的历史,GAN目前还处在研究举证阶段,还没有得到广泛的商业应用。目前GAN研究领域的主力还是Google,其聘请了GAN概念的创造者Ian Goodfellow来带领其研究团队。对于未来可能的应用,人工智能三大奠基人之一的Yoshua Bengio认为,GAN特别适合运用在自动驾驶技术的研发上。目前自动驾驶系统的完善还是取决于大量的数据训练,系统需要有所有驾驶时会产生的各种意外情况的数据才能避免交通意外。而GAN可以通过自动生成能力有效地解决这个数据问题。除此之外,业内专家认为,GAN在药物研究上也能有效提高研发的效率并节省成本。

赋予机器"创造力"的GAN解决了一直困扰人工智能领域的数据来源问题,可以说真正实现了不依赖人类的无监督学习。关于真正的爆发和广泛的商业应用,相信被誉为"神来之笔"的GAN需要的只是更多的时间。

后记:

人工智能的发展并不是深度学习一家的功劳,前辈们几十年的探索,大数据,云计算,以及硬件显卡芯片的高速发展共同造就了今天的人工智能时代。

未来已来,人工智能创造美好生活!

参考资料:

麻省理工评论2013全球十大突破性技术

麻省理工评论2017全球十大突破性技术

麻省理工评论2018全球十大突破性技术

深度学习 [美] 伊恩·古德费洛 Ian Goodfellow / [加] 约书亚·本吉奥 / [加] 亚伦·库维尔

附麻省理工评论评选的最近十年和人工智能相关的全球十大突破性技术:

十年三突破,深度学习是如何助力人工智能脱离冷板凳的?

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多