|
11 月初，我们发布了《攻略 | 虽然票早已被抢光，你可以从机器之心关注 NIPS 2017》。在 NIPS 2017 正式开始前，我们将选出数篇优质论文，邀请论文作者来做线上分享，聊聊理论、技术和研究方法。 本周将进行线上分享的第三期，机器之心邀请到了杜克大学博士生温伟给我们介绍杜克大学的一篇NIPS 2017 Oral 论文。 日期：北京时间 11 月 26 日 20:30 至 21:30。 
分享者简介：温伟，博士生四年级，现就读于杜克大学，导师为李海教授和陈怡然教授。温伟博士的研究方向主要是分布式机器学习、模型压缩、结构学习和深度神经网络理解。个人主页：www.pittnuts.com。 演讲主题：深度神经网络 - 随机三元化梯度下降和结构化稀疏 演讲摘要 1.TernGrad - 一种把梯度三元量化到{-1,0, 1}，以改善分布式深度学习的通信瓶颈，从而提高训练速度的方法； TernGrad[1]是一种梯度量化方法，将浮点梯度随机量化到{-1,0, 1}，在保证识别率的情况下，大大降低梯度通信量。TernGrad文章是NIPS 2017 Deep Learning track里的4篇orals之一； 2.SSL - 基于结构化稀疏的深度神经网络加速方法。 本次分享的第二个主题是SSL[2]。相对于连接剪枝(ConnectionPruning)，SSL可以直接控制稀疏模式，避免稀疏权重随机分布导致的计算效率低的问题。SSL是一个通用方法：在CNNs中，SSL可以去掉filters，channels，neurons，ResNets里的layers，学到非矩形的filter形状，以及去掉权重矩阵里面的行和列。文章发表在NIPS 2016，并与微软研究院-雷德蒙德合作，扩展到LSTMs并提交在某会议[3]。在LSTMs中，该方法可以有效地去掉hidden states，cells，gates和outputs，从而直接学到一个hidden size更小的LSTMs并不改变LSTMs内部固有的结构。 所有代码均已开源[4][5][6]。 [1] Wei Wen, Cong Xu, Feng Yan,Chunpeng Wu, Yandan Wang, Yiran Chen, Hai Li, TernGrad: Ternary Gradients toReduce Communication in Distributed Deep Learning, NIPS 2017 [2] Wei Wen, Chunpeng Wu, YandanWang, Yiran Chen, Hai Li, Learning Structured Sparsity in Deep Neural Networks,NIPS 2016 [3] Wei Wen, Yuxiong He, SamyamRajbhandari, Wenhan Wang, Fang Liu, Bin Hu, Yiran Chen, Hai Li, LearningIntrinsic Sparse Structures within Long Short-Term Memory, arxiv preprint [4] https://github.com/wenwei202/terngrad [5] https://github.com/wenwei202/caffe [6] https://github.com/wenwei202/iss-rnns 参与方式 线上分享将在「NIPS 2017 机器之心官方学霸群」中进行。加群方式：备注暗号：147，由小助手拉大家入群。 戳「阅读原文」，查看机器之心 NIPS 2017 专题策划并参与其中。 
搜狐知道精品课推荐：物理精选8节课，秒杀高考提分20分——清华物理学霸【刘杰物理】 |
|
|
