重磅微软AI首席科学家邓力：深度学习技术及趋势报告（75页PPT下载）

新智元推荐1

邓力率先提出将深度神经网络应用于语音识别，显著提高了机器对语音的识别率，由此获得2015年IEEE技术成就奖。根据微软亚洲研究院官网，在展望2016年深度学习领域会出现哪些关键性技术突破和进展时，邓力认为基于深度学习的自然语言处理技术会继续保持高速发展，而基于深度学习的注意力导向型序列学习技术将让机器翻译日益完善。

请在新智元微信公众号，回复 0411 下载PPT全文（75页）。

邓力照片

标题：人工智能中的深度学习——从机器感知到机器认知

维基百科上对深度学习的定义

深度学习是一种经典的机器学习算法，它

• 使用一种包含了许多层非线性处理过程的瀑布流；

• 是以数据来推动的端对端最优选择为代表的机器学习领域的一部分；

• 学习多层次的样本，并对高层概念抽象作出回应。

维基百科对人工智能的定义

人工智能（AI）是机器或软件展现出来的智能。在学术领域，它也指那些关于如何创造能够体现智能行为的计算机或计算机软件的研究。

通用人工智能（AGI）是一种从理论上能够成功地处理所有人类可以处理的智能任务的机器智能。它是人工智能研究的首要目的，也是科幻小说作家和预言家们的重要主题。通用人工智能也被称为“强人工智能”。

人工智能/通用人工智能与深度学习：主要理论

人工智能/通用人工智能 = 机器感知（语言、图像、视频、手势、触觉……） + 机器认知（自然语言、推理、关注、记忆/学习、知识、决策、行动、互动/对话……）

强人工智能：灵活、通用、万能的人工之智能

深度学习 + 增强/无监督学习 = 人工智能/强人工智能

AlphaGo 如何运用人工智能/强人工智能与深度学习

目录

机器感知中的深度学习

• 语言

• 图像

机器认知中的深度学习

• 语义模型

• 自然语言

• 多模态

• 推理，关注，记忆（RAM）

• 知识呈现/管理/开发

• 最佳决策（通过深度强化学习）

深度学习和AI研究中的三大热门领域及挑战

深度学习研究：以神经信息处理系统（NIPS）为中心

2010年到2012年，安卓在语音识别错误率上取得的突破

全球语音行业中深度神经网络（DNN）的应用

当下语音识别技术的最新发展状况

谷歌的神经网络架构（NNA）ASR

百度的深度语音中英文端对端 DL系统

苹果DNN-HMM ASR 中学习的跃迁概率

科大讯飞的 FSMN-based LVCSR系统

IBM的英语对话语音识别

微软牛津计划

深度学习同样也覆盖到图像认知（从2012年起）

对象认知过程

微软的神经网络证明，深度学习可以更深

深度非常关键

机器认知中的深度学习

• 语义模型

• 自然语言

• 多模态

• 推理，关注，记忆（RAM）

• 知识呈现/管理/开发

• 最佳决策（通过深度增强学习）

符号嵌入中的深度语义模型

深度语义模型的应用

自动写图说

COCO挑战的结果（CVPR-2015，Boston）

机器认知中的深度学习

• 深度增强学习

• 最优行动：控制和商业决策

nature文章通过深度增强学习让机器达到人类水平的控制

增强学习——长期价值的最优化

用深度神经网络和树形搜索学会下围棋

AlphaGo中的DNN学习管道

AlphaGo中使用的DNN架构

AlphaGo中四个DNN的分析

AlphaGo中蒙特卡洛树形研究

机器认知深度学习——存储网络和注意力机制（用于机器翻译）

长短期记忆循环神经网络（LSTM）

LSTM细胞随时间展开情况

门限循环单元（GRU），比LSTM简单，没有输出门。（图2）和LSTM一样，乍看很难看出哪部分是GRU功能的关键。

神经网络的序列学习

神经网络机器翻译

• 这种模型反馈“思想向量”性能不佳

• 尤其是长语料句子

• 因为你不能把 %&!$# 整句话缩到一个 $&!#* 向量里！

采用注意力机制的神经网络机器翻译

全局注意力模型和局部注意力模型

图像说明注意力模型

机器认知深度学习

• 推理神经网络：存储网络

• 更好的推理神经网络：带结构化知识再现的张量积表征

  
  

推理存储网络

TPR：结构化神经网络表征

未来研究挑战

1. 结构化嵌入从而更好地推理：结合神经网络表征

2. 结合深度判别模型和深度生成模型/贝叶斯模型

3. 深度无监督学习

   
   

深度无监督学习

• 无监督学习近来成了深度学习领域一大热点

• 需要有一个任务为无监督学习设定基准，比如提高预测精度

• 语音识别和图像说明的例子

• 4种知识来源

  
  

理论上说理论和实践没有区别，但在实践中理论和实践是有区别的。

人工智能大咖读《新智元：机器+人类=超智能时代》

李飞飞 | 美国斯坦福大学（Stanford University）计算机系终身教授，斯坦福人工智能实验室主任

从 Age of Information 到 Age of Intelligence，人类社会在 21 世纪悄然迎来了信息革命后的另一个大时代——智能科技与产业的崛起。面对大时代，需要有大智慧、大胸襟和大情怀。《新智元：机器+人类=超智能时代》云集了各方专家的真知灼见，真诚地与读者探讨智能时代的未来、挑战和责任。十大人工智能研究院院长、AI 专家

技 术重 磅 解 密

谷歌AlphaGO战胜李世石，标志着机器智能向人类智能的领地又迈进了伟大的一步。而“互联网+”向“智能+”时代的跃迁，也昭示新智能时代即将到来。2016年，恰逢人工智能诞生60周年，《新智元：机器+人类=超智能时代》是人工智能技术和产业狂飙突进的见证，为读者打开人工智能世界的一扇大门，不仅可以一窥百度大脑、讯飞超脑、中国大脑计划究竟，更可以著名人工智能研究院院长等顶级专家大咖的技术解密作为对智能产业未来趋势的参照。近百位学界、商界、技术界、产业界的专家，从机器人、机器学习、智能汽车、智能医疗、认知科学、高性能计算和“AI+”投资等不同视角，对人工智能和机器人产业进行评析。人类未来在AI时代将何去何从，超智能时代将引发社会更多思考。

促销链接请见阅读原文。