|
在本周举行的国际表征学习大会(ICLR)上，图灵奖获得者、蒙特利尔学习算法研究所所长Yoshua Bengio简要介绍了AI和机器学习技术的未来。 今年2月，他在美国科学促进会(AAAI)举办的人工智能2020年大会上与图灵奖得主Geoffrey Hinton和Yann LeCun一起发表了讲话。 Bengio 但在周一发表的一次演讲中，Bengio再次阐述了注意力机制。 注意力机制（Attention），即人（或算法）一次专注于单个元素或多个元素的机制，是机器学习中的一种数据处理方法，广泛应用在自然语言处理、图像识别及语音识别等各种不同类型的机器学习任务中。 它也是机器学习模型架构(如谷歌的Transformer)的核心，是意识瓶颈(即人们的注意力资源是有限的)的核心。 目前，注意力模型已经在自然语言处理等领域取得了最先进的成果，它们可以成为企业人工智能的基础，能帮助员工完成一系列需要认知的任务。 Bengio在其著作《Thinking, Fast and Slow》中描述了以美国心理学和经济学家丹尼尔·卡尼曼(Daniel Kahneman)提出的认知系统。 第一种是无意识的——它是直觉的和快速的，非语言和习惯性的，它只处理隐性的知识。 第二种是有意识的——它是语言和算法的，它结合了推理和计划，以及明确的知识形式。 有意识系统的一个有趣特性是，它能在新情况下重新组合语义概念，Bengio指出这是人工智能和机器学习算法的一个理想特性。 目前的机器学习方法还没有从无意识转变到有意识，但是Bengio相信这种转变是完全有可能的。 他指出，神经科学研究表明，涉及意识思维的语义变量通常是因果关系——它们涉及的是意图或可控对象。 现在，人们开始明白，语义变量和思想之间存在映射关系（例如，单词和句子之间的关系），并且可以将概念重新组合以形成陌生的新概念。 Bengio解释说，注意力机制是这个过程中的核心要素之一。 在此基础上，他和同事在最近的一篇论文中提出了循环独立机制(RIMs)，这是一种新的模型架构，其中多个单元组独立运作，仅通过注意力机制进行有限的交流。 他们表明，这使得RIM专业化，反过来又能提高在训练和评估之间存在差异因素的任务的泛化能力。 Bengio说:“这使得agent能够更快地适应分布的变化或……推理，从而了解发生变化的原因。” 他概述了从无意识向有意识系统转变所面临的一些重大挑战，包括确定模型元学习(或理解数据中包含的因果关系)的方法，以及加强机器学习和强化学习之间的整合。 他相信，生物学和AI研究之间的相互作用，最终能打开机器的大门，让它们能够像人类一样进行推理，甚至表达情感。 “神经科学对意识进行了研究……在过去几十年里取得了很大进展。我认为现在是机器学习考虑这些成就并将它们纳入机器学习模型的时候了。” |
|
|
