本文联合编译:Blake、高斐 雷锋网注:Geoffrey Everest Hinton(杰弗里·埃弗里斯特·辛顿 )是一位英国出生的计算机学家和心理学家,以其在神经网络方面的贡献闻名。辛顿是反向传播算法和对比散度算法的发明人之一,也是深度学习的积极推动者,目前任职于多伦多大学与Google。作为人工智能领域的三位奠基人之一,早在30年前,辛顿就已经在深度学习领域留下了自己的烙印。然而,直到计算机的性能达到深度学习的要求,辛顿才开始在学术界以外得到自己应得的广泛认可,本文是他对于深度学习介绍的演讲PPT。 深度学习鼻祖Geoffrey Hinton帮你入门带你飞 深度学习鼻祖Geoffrey Hinton帮你入门带你飞 深度学习 Geoffrey Hinton 多伦多大学&Google 深度学习鼻祖Geoffrey Hinton帮你入门带你飞 机器学习任务的频谱 典型的统计学方法
人工智能(AI)
深度学习鼻祖Geoffrey Hinton帮你入门带你飞 深度学习简要发展史
深度学习鼻祖Geoffrey Hinton帮你入门带你飞 如何学习多层特征(~1985) 运用反向传播错误信号以获得用于学习的衍生工具: 首先输入输入信息向量,通过隐藏层,最终得到输出结果,对比输出结果与正确答案得到错误信号。 深度学习鼻祖Geoffrey Hinton帮你入门带你飞 随机梯度下降
深度学习鼻祖Geoffrey Hinton帮你入门带你飞 反向传播算法到底是哪里出错了?——20世纪90年代的观点
深度学习鼻祖Geoffrey Hinton帮你入门带你飞 运用无监督学习方式,克服反向传播算法的局限性
深度学习鼻祖Geoffrey Hinton帮你入门带你飞 随机二进制单位(一种奇数选择方法) 深度学习鼻祖Geoffrey Hinton帮你入门带你飞 受限玻尔兹曼机
深度学习鼻祖Geoffrey Hinton帮你入门带你飞 受限玻尔兹曼机最大可能性学习算法图
深度学习鼻祖Geoffrey Hinton帮你入门带你飞 快速学习受限玻尔兹曼机的方法
深度学习鼻祖Geoffrey Hinton帮你入门带你飞 旁白
这是受限玻尔兹曼机的首次重大应用。 深度学习鼻祖Geoffrey Hinton帮你入门带你飞 训练深度网络(受限玻尔兹曼机饱受欢迎的主要原因在于的到盖茨比基金的支持)
如此便生成一个多层生成模型。
这一证明过程是非常复杂的(但是对于学术界同仁之间相互尊重极为重要)。 深度学习鼻祖Geoffrey Hinton帮你入门带你飞 精细调整,以实现区分这一目的
因为未经标记数据而发现好的特征,我们要求使用更少的标记。 由于在预训练过程中,一次仅训练一层,并且是从可感知的特征进行精细调整的,学习速度变得越来越快。 深度学习鼻祖Geoffrey Hinton帮你入门带你飞 为预训练深层神经网构建声学模型
通过较短时间的前期处理,现在我们在这一块儿能够做的更好。 深度学习鼻祖Geoffrey Hinton帮你入门带你飞 接下来会发生什么
深度学习鼻祖Geoffrey Hinton帮你入门带你飞 图像网的ILSVRC-2012竞争
早期阶段主要通过优化一些参数得到调整。 深度学习鼻祖Geoffrey Hinton帮你入门带你飞 ILSVRC-2012竞争的错误率
深度学习鼻祖Geoffrey Hinton帮你入门带你飞 针对Imagenet的神经网络
Dropout用来防止这些层级过拟合 深度学习鼻祖Geoffrey Hinton帮你入门带你飞 在测试集上的样本(以及神经网络猜测结果)
深度学习鼻祖Geoffrey Hinton帮你入门带你飞 修正线性单元
y = max(0,x) 这种非线性使得深度网络更易训练,在处理真实值的时候也表现的更好。 深度学习鼻祖Geoffrey Hinton帮你入门带你飞 Dropout:平均多个大型神经网络的有效方式
深度学习鼻祖Geoffrey Hinton帮你入门带你飞 Dropout作为一种模型平均形式
深度学习鼻祖Geoffrey Hinton帮你入门带你飞 在测试的时候我们做些什么?
深度学习鼻祖Geoffrey Hinton帮你入门带你飞 1986年提出的方向传播算法哪里错了? 关于它为什么失败,我们得出的结论都错了。真正的原因是:
几年前,Jeff Dean认为如果计算能力足够的话,神经网络也许能够做到一些非常了不起的事情。 他建立许多架构让一些大型神经网络在Google的数据中心核心区块上进行训练。 深度学习鼻祖Geoffrey Hinton帮你入门带你飞 卷积神经网络(部分复杂细节已略去) 有关卷积网络最好的类型可以去查看Hochreiter和Schmidhuber于1997年发布文章的细节。 深度学习鼻祖Geoffrey Hinton帮你入门带你飞 卷积神经网络 卷积神经网络十分强大,因为它们结合了两种特性。
深度学习鼻祖Geoffrey Hinton帮你入门带你飞 机器翻译的一种全新方式(Suskever, Vinyals和Le,2014)
深度学习鼻祖Geoffrey Hinton帮你入门带你飞 针对翻译分布的一个解码器RNN
在训练期间,我们只需要输入“正确”的单词。 深度学习鼻祖Geoffrey Hinton帮你入门带你飞 编码器和解码器网络是如何训练的
如果我们使用更多的数据,并且同时对多种语言共同进行训练编码器和解码器的话,它的表现会好的多
深度学习鼻祖Geoffrey Hinton帮你入门带你飞 结合视觉和语言(Vinyals等近期工作的简单介绍)
深度学习鼻祖Geoffrey Hinton帮你入门带你飞 一群人在一个户外市场购物 (人们蜷缩围绕着一家开放市场) 深度学习鼻祖Geoffrey Hinton帮你入门带你飞 一个抱着填充动物玩具的孩子特写 (一个小女孩睡在沙发上,抱着一个玩具熊) 深度学习鼻祖Geoffrey Hinton帮你入门带你飞 文本处理的意义
深度学习鼻祖Geoffrey Hinton帮你入门带你飞 经典AI的意义
深度学习鼻祖Geoffrey Hinton帮你入门带你飞 深度学习是从哪里来的?
PS : 本文由雷锋网(公众号:雷锋网)编译,未经许可拒绝转载! via Geoffrey Hinton |
|