人工智能[254]人工智能简史

赵站长的博客 2023-12-23 发布于北京

展开全文

人工智能 (Artificial Intelligence，AI) 是计算机科学的一个分支领域，致力于让机器模拟人类思维，执行学习、推理等工作。人工智能的发展经历了以下五个阶段。

AI兴起：人工智能概念的出现（1950~1974）

AI第一次寒冬：神经网络遇冷，研究经费减少（1974~1980）

AI复兴：专家系统流行并商用（1980~1987）

AI第二次寒冬：专家系统溃败，研究经费大减（1987~1993）

AI崛起：深度学习理论和工程突破（1993至今）

下面对人工智能发展的五个阶段，分别进行简要的介绍。

第一阶段：AI兴起（1950~1974）

机器人三大定律

1942年，科幻作家阿西莫夫（Isaac Asimov）在小说《我, 机器人》中提出了机器人三定律：

第一：机器人不得伤害人，也不得见人受到伤害而袖手旁观；

第二：机器人应服从人的一切命令，但不得违反第一定律；

第三：机器人应保护自身的安全，但不得违反第一、第二定律。

但机器人三定律中隐含着两个逻辑悖论：机器人可以杀害正在行凶杀人的人吗？人类自我伤害时而不自知时，机器人该怎么做？

2004年，威尔·史密斯主演的同名电影《我，机器人》，对这两个悖论进行了深度的探索。在电影中，中央电脑Viki为了人类的整体利益，控制部分机器人“保护”人类，不允许他们出门，不允许他们做任何事情。最终人类与少数“正义”的机器人联手反抗Viki并取得成功。

威尔·史密斯主演的《我，机器人》

艾伦·图灵与模仿游戏

艾伦·图灵（Alan Turing，1912~1954）是英国数学家、逻辑学家，被称为计算机科学之父，人工智能之父。二战中协助军方破解德军密码系统Enigma，帮助盟军取得胜利。

1950年，图灵写出了研究论文“计算机器与智能”，深入探讨了智能的本质，以及机器智能能否实现。论文的开篇第一句话是：我提议考虑这个问题，“机器能够思考吗？”。而结尾最后一句是：我们只能看到前面一小段距离，但可以看到有大量要做的事情。

在论文中，图灵提出了“模仿游戏”（即图灵测试）的概念，用来检测机器智能水平。图灵测试有两个版本。

第一是图灵原论文中的“模仿游戏”。在模仿游戏中，A是男性机器人，但要假装是女人；B是真人女性，要向C证明自己是女人；C是质问者，只能通过书面问答考察。如果质问者无法区分男女，则称机器人具有智能。

图灵原论文中的“模仿游戏”

第二个是比较流行的图灵测试标准版本：其中，A是计算机，但要假装是真人；B是真人，要向C证明自己是真人；C是质问者，只能通过书面问答来考察。通过图灵测试的条件是：质问者无法区分计算机和真人。

图灵测试标准版本

图灵测试，用图灵的话总结起来就是：”如果一台计算机可让人误认为它是人，则可称它具有智能 “。1966年设立了以图灵名字命名的图灵奖，这被称为计算机界的“诺贝尔奖”

“人工智能”的正式诞生—达特茅斯会议

1955年，达特茅斯学院的教师，约翰·麦卡锡（John McCarthy），首次提出了“人工智能”的概念，来概括神经网络、自然语言等“各类机器智能”技术。1956年，麦卡锡推动召开了达特茅斯会议，也叫“人工智能夏季研究项目”。

会议的主题是：让机器使用语言，形成抽象与概念，解决目前只有人类才能求解的问题，以及不断自我提升。会上讨论了七大议题：自动计算机；如何为计算机编程，使其能够使用语言；神经网络；计算规模理论；自我改进；抽象；随机性与创造性。最终会议形成了一个共识：人工智能（AI）对人类具有很大的价值。

达特茅斯学院旧照

达特茅斯会议上的主要参会者，后来都成为了人工智能史上鼎鼎有名的人物。其中就有四位获得过图灵奖，西蒙还是诺贝儿经济学奖的获得者。

达特茅斯会议上的学术名人

人工智能热潮

1958年，纽厄尔和西蒙说到：十年之内，数字计算机将成为国际象棋世界冠军，数字计算机将发现并证明一个重要的数学定理。但直到39年后的1997年，IBM深蓝才战胜国际象棋世界冠军卡斯帕罗夫。18年后的1976年，计算机通过暴力计算证明了四色定理。

1965年，西蒙说到：二十年内，机器将能完成人能做到的一切工作。显然，这个预言直到目前为止，也远远没有实现。

但是，纽厄尔和西蒙的豪言壮语，得到了官方的认可。DARPA（美国国防部高等研究计划局）对纽厄尔和西蒙在卡内基梅隆大学（CMU）的工作组进行了资助。

1967年，明斯基说到：一代之内，创造“人工智能”的问题将获得实质上的解决。1970年，他又乐观地说到：在三到八年的时间里我们将得到一台具有人类平均智能的机器。

当然，这些豪言壮语，离真正的实现还有很长的路要走。但这种乐观的情绪，在1963年至70年代也吸引了DARPA每年投入300万美元资助MIT的AI研究，其中就包括明斯基的AI团队。

人工智能三大学派

在人工智能的热潮中，涌现了从不同的学科背景出发的三大学派：

连接主义：又称为仿生学派或生理学派，包含感知器，人工神经网络，深度学习等技术。代表人物有罗森布莱特（Frank Rosenblatt）等。

连接主义的代表：多层神经网络

符号主义：又称为逻辑主义、心理学派或计算机学派。包含决策树，专家系统等技术。代表人物有西蒙和纽厄尔、马文·明斯基等。各类决策树相关的算法，均受益于符号主义流派。

判断动物类型的决策树

行为主义：又称为进化主义或控制论学派，包含控制论、马尔科夫决策过程、强化学习等技术。代表人物有萨顿（Richard Sutton）等。

行为主义代表观点：智能体与环境交互获得智能

感知机简介

1957年，弗兰克·罗森布莱特（Frank Rosenblatt）提出感知器( Perceptron)概念，并建造了感知器的机电模型“Mark I”。感知器通过监督学习算法，迭代地解决线性的二分类问题，极大地拓展了机器可求解问题的种类。感知器的出现激起一股人工智能热潮。学术界和大众都给予厚望。

罗森布莱特对人工智能的未来也非常乐观：“感知、识别和辨认周边环境，无需人工训练或控制，我们即将见证这样的机器的诞生。”

感知机示意图

罗森布莱特和他的感知器原型，1958年集成电路原型诞生之前，复杂电路的连线是让人眼花缭乱的。

《2001太空漫游》

人工智能的热潮，也传导到了文艺界。《2001：太空漫游》于1968年上映，是由斯坦利·库布里克执导的科幻电影，也是人工智能主题电影的开创之作。马文·明斯基作为技术顾问。电影讲述了人类为了寻找“黑石”根源而进行木星登陆的故事。

电影中的人工智能叫HAL 9000。Hal 9000掌控“发现者号”，是具有高度智能和情感的机器人。在HAL 9000背叛了Dave，拒绝执行他的指令后，Dave强行一个个拔掉Hal的记忆卡。Hal逐步失去智能并宕机。

有意思的是，为什么Dave是以拔记忆卡的方式来关停HAL 9000？这和马文·明斯基的符号主义思想背景恐怕有着深刻的关联。根据符号主义的主张，知识是信息的一种形式，是构成智能的基础，知识表示、知识推理、知识运用是人工智能的核心，而知识是存储在“记忆卡”上面的。

Dave在逐个地拔出HAL 9000的记忆卡

第二阶段：AI第一次寒冬（1974~1980）

感知器的局限性

1969年，马文·明斯基和西蒙·派珀特（Seymour Papert）写了一本书《感知器》，对罗森布莱特的感知器提出了质疑。书中指出：单层感知器本质上是一个线性分类器，无法求解非线性分类问题，甚至连简单的异或（XOR）问题都无法求解。

线性可分问题

线性不可分问题

单层感知器的这一局限，使得连接主义备受质疑，再加上AI的实际应用止步不前，AI迎来第一次寒冬。符号主义和专家系统开始得到重视，并流行起来。

AI研究遇冷

明斯基对感知器的批评导致神经网络研究停滞了十年。当然，这也一定程度上要归咎于AI研究者们低估了AI课题的研究难度，做出各种不切实际的承诺，而且当时的模型和硬件计算能力的限制，也使得这些承诺完全无法按预期实现。

研究和应用上的停滞，直接导致了各国对人工智能方向研究经费的削减。1973年英国科学研究委员会消减对AI研究的资助。1973~1974 年，美国DARPA 大幅削减对AI研究的资助，到1974年，已经很难再找到对AI项目的资助了。

第三阶段：AI复兴(1980~1987）

专家系统的兴起

AI的第一次寒冬，让研究者们的研究热点，转向了专家系统。专家系统，是模仿人类专家决策能力的计算机系统。依据一组从专门知识中推演出的逻辑规则，来回答特定领域中的问题。专家系统包含若干子系统：知识库，推理引擎，用户界面。

专家系统的示意图

知识库系统和知识工程成为80年代AI研究的主要方向，出现了许多有名的专家系统。

MYCIN：识别可能导致急性感染的各种细菌，根据患者的体重推荐药物。

DENDRAL：用于化学分析，可预测分子结构。

PXDES：用于预测肺癌程度和类型。

XCON：1980年由CMU为DEC设计，1986年之前每年为DEC省下四千万美金。

专家系统的优势

专家系统具有明显的一些优势：

设计简单，且能够容易地编程实现或修改

实践证明了专家系统的实用性和经济价值

高效、准确、迅速和不知疲倦地进行工作

使领域专家的经验不受时间和空间的限制

专家系统的这一系列优势，吸引了新一轮的政府资助。1981年，日本经济产业省拨款八亿五千万美元支持第五代计算机项目，目标是造出能与人对话，翻译语言，解释图像，并像人一样推理的机器，英国开始了耗资三亿五千万英镑的Alvey工程。DARPA成立战略计算促进会，1988年向AI的投资是1984年的三倍。

第四阶段：AI第二次寒冬（1987~1993）

专家系统的衰落

在专家系统快速发展的过程中，其劣势也逐渐显露出来。专家系统的劣势有：

知识采集和获取的难度很大，系统建立和维护费用高。

专家系统仅限应用于某些特定情景，不具备通用性。

使用者需要花很长时间来熟悉系统的使用。

专家系统应验了这句话：有多少人工，就有多少智能

专家系统的这些劣势，使得商业化面临重重困境，从而直接引发了AI的第二次寒冬。

1987年AI硬件市场需求突然下跌。Symbolics等生产的昂贵的Lisp机失去了市场。

80年代晚期，战略计算促进会大幅削减对AI的资助。

DARPA认为AI并非“下一个浪潮”，拨款倾向于更容易出成果的项目。

1991年，日本的“第五代计算机项目”的目标未能实现。

彼时，“人工智能”一词俨然成为研究者的禁忌。研究人员害怕看起来像一个乞求经费的空想家。开始用“信息学”、“机器学习” 等新词来替代”人工智能“一词。

深度学习的萌芽

在人工智能的第二次寒冬期，神经网络的研究出现了一系列的突破性进展，深度学习开始萌芽。主要有以下几个代表性成果：

霍普菲尔德网络：1982年，由约翰·霍普菲尔德(John Hopfield)提出。离散霍普菲尔德网络是一个单层网络，各节点对称地连接，但没有自反馈，权重确定后，网络具有状态记忆功能。

霍普菲尔德网络示意图

受限玻尔兹曼机：1985年，由杰弗里·辛顿 (Geoffrey Hinton)提出。受限玻尔兹曼机是一种二分图结构，包含可见单元和隐藏单元。其训练算法是基于梯度的对比分歧算法，可以用于降维、分类、回归和特征学习等任务。

受限玻尔兹曼机示意图

多层感知器：1986，由鲁姆尔哈特(Rumelhart)提出。这是一种前向结构的人工神经网络。包含三层：输入层、隐藏层和输出层。模型训练的算法是反向传播算法。

多层感知机解决了线性不可分问题

第五阶段：AI崛起（1993至今）

深度学习三巨头

少数AI研究者在AI寒冬期以众人皆醉我独醒的态度，十年如一日地坚持坐冷板凳，开展神经网络方向的研究。其中代表人物是深度学习三巨头。他们在2018年因在深度学习方面的卓越贡献，一同被授予了图灵奖。

杰弗里·辛顿（Jeoffrey Hinton）：发明了受限玻尔兹曼机，首先将反向传播算法应用于多层神经网络[1]。培养了杨乐昆等一众大牛级学生。推动谷歌的图像和音频识别性能大幅提升。

我一直以来都确信，实现人工智能的唯一方式，就是按人类大脑的方式去进行计算。——杰弗里·辛顿

杨乐昆（Yann Lecun）：1989年使用反向传播和神经网络识别手写数字，用来读取银行支票上的手写数字，首次实现神经网络商业化[2]，1998 ，提出LeNet5卷积神经网络[3]，Facebook人工智能实验室负责人。

我们之所以为人，是因为我们具有智能，而人工智能是这一能力的扩展。——杨乐昆

约书亚·本吉奥（Yoshua Bengio）：推动了循环神经网络的发展，带领开发出Theano框架，启发了Tensorflow等众多后续框架的发展，创办AI顶会ICLR，开创了基于神经网络的语言模型[4]。他也是权威教材《深度学习》一书的合著者。

我一直认为“创造性”可通过计算的方式来实现。我们理解计算背后的原理。所以，只需找到更智能的神经网络或模型即可。——约书亚·本吉奥

大数据时代的到来

随着互联网的快速发展，人类进入了大数据时代。这一方面为人工智能的发展提供了广阔的应用空间，同时也提供了海量的数据。这些数据包括：

用户上网产生海量行为数据：比如购物网站浏览、收藏、购买数据，社交网站关注、点赞、评论数据，视频网站浏览、观看、付费数据。这为人工智能在互联网企业的大规模应用提供了肥沃的土壤。

移动互联推动图像数据：智能手机支持随手拍照并分享到网络，出现了图像识别、图像分割等需求，同时CIFAR、ImageNet、VisualQA等大型的图像数据集开始出现，推动了深度学习图像处理算法的快速演进。

内容平台产生大量文本数据：新闻媒体每天各语种的新闻报道，自媒体平台产生大量文本作品，维基百科等记载大量结构化知识。这为自然语言算法的研究和应用提供了广阔的天地。

算力革命

新的软硬件平台的出现，催生了算力革命。其中代表性的突破有：

大数据集群（CPU集群）：2004年谷歌推出了分布式文件系统（GFS）、分布式计算框架（MapReduce），2006年Doug Cutting推出基于谷歌技术改进的Hadoop，2010年，Facebook 推出大数据分析工具 Hive。2012年，UC 伯克利推出替代MapReduce的Spark。至此，大数据处理形成了完整的技术框架

图形处理器（GPU）：GPU原本主要用于图形图像的渲染，2006年，英伟达（NVIDIA）推出CUDA （统一计算架构），GPU开始用于解决商业、工业以及科学方面的复杂计算，GPU与深度学习结合，模型的训练速度有了数量级的提升。

CPU和GPU的架构：CPU有更多控制单元，而GPU将更多的晶体管用于数据处理

AI三要素：算法、算力、数据

大数据量处理推动算力的革命，推动了GPU集群、大数据集群乃至专用的AI芯片的大踏步发展。算力提升拓宽了算法的探索空间，强化学习、AUTOML等算力密集型的算法不断取得突破。

神经网络变体也不断涌现，卷积神经网络（CNN）、循环神经网络（RNN）、长短期记忆网络（LSTM)等等的复杂模型，对训练数据质量和数量的需求越来越迫切。

而互联网的不断发展提供了大量数据源与高效标注工具与平台，由此产生了许多高质量公开数据集。

算法、数据和算力，相辅相成，推动着人工智能的发展进入了快车道。

算法、数据和算力的循环促进

AI发展进入快车道

算法、数据、算力三要素齐备后，AI开始迅猛发展。

2009年，辛顿（Hinton）和他的两名学生使用多层神经网络在语音识别方面取得了重大突破。

2011年，IBM沃森在电视节目《危险边缘》中战胜人类辩手，苹果公司将Siri整合到iPhone4S中。