从全局到枝干，从经典到前沿，从理论到应用，还有最新的研究......，所有你不需要的需要的，现在不需要的未来需要的，你不需要的周边小伙伴需要的......反正全都在这了。拿走不谢，就在AI科技大本营。 整理| AI科技大本营（rgznai100） 参考 - https://zhuanlan.zhihu.com/p/23080129 对于大多数想上手深度学习的小伙伴来说，“我应当从那篇论文开始读起？” 有没有一份完整的深度学习论文导引，让所有人都可以在里面找到想要的内容呢？ 它让大家对整个深度学习领域及其个枝干都能有一个相对完整的理解。 这份阅读列表的组织原则是这样的： 从全局到枝干：从综述类，全局性的文章到细分领域的具体论文。 从经典到最前沿：每个话题的文章都是按时间顺序来排的，可以清晰给出每个方向的发展脉络。 从通用理论到具体应用：有些论文是针对深度学习通用理论的，有些论文章则针对具体的应用领域。 专注于最先进的研究：收集有许多最新论文，保证阅读列表的时效性。
当然，这里的每个话题都只选几篇最具代表性的论文，深入研究的话，还需要更进一步的阅读。 基于这些论文的影响力，你会发现很多新近发表的文章也值得一读。此外，这份阅读列表在原文页面会不断更新，值得你时时备查。 1.0书 [0] 深度学习圣经★★★★★ 本吉奥，Yoshua，Ian J. Goodfellow和Aaron Courville。“深入学习”。麻省理工学院出版社 （2015年）。
1.1报告 [1]三巨头报告★★★★★ LeCun，Yann，Yoshua Bengio和Geoffrey Hinton。“深入学习”。Nature 521.7553（2015）：436-444。 http://www.cs./%7Ehinton/absps/NatureDeepReview.pdf
1.2深度信念网络（DBN） Hinton，Geoffrey E.，Simon Osindero和Yee-Whye Teh。“深度信念网的快速学习算法”。神经计算18.7（2006）：1527-1554。
http://www.cs./%7Ehinton/absps/ncfast.pdf
Hinton，Geoffrey E.和Ruslan R. Salakhutdinov。“用神经网络降低数据的维数”。科学313.5786（2006）：504-507。 http://www.cs./%7Ehinton/science.pdf
1.3 ImageNet革命（深度学习大爆炸） Krizhevsky，Alex，Ilya Sutskever和Geoffrey E. Hinton。“具有深卷积神经网络的Imagenet分类”。神经信息处理系统的进展。2012。
[5] VGGNet深度神经网络出现 ★★★ 西蒙妮，凯伦和安德鲁Zisserman。“用于大规模图像识别的非常深的卷积网络”。arXiv preprint arXiv：1409.1556（2014）。
[6] GoogLeNet ★★★ 他，凯明，等 “图像识别的深度残差学习”。arXiv preprint arXiv：1512.03385（2015）。 1.4语音识别革命 [8]语音识别突破 ★★★★ [9] RNN论文 ★★★ 格雷夫斯，亚历克斯，阿卜杜勒 - 拉赫曼·穆罕默德和杰弗里·亨顿。“具有深层次神经网络的语音识别”。2013 IEEE国际声学，语音和信号处理会议。IEEE，2013。
[10]端对端RNN语音识别 ★★★ [11] Google语音识别系统论文 ★★★ [12]百度语音识别系统论文 ★★★★ Amodei，Dario等 “深度讲话2：英文和普通话的端对端语音识别”。arXiv preprint arXiv：1512.02595（2015）。
[13]来自微软的当下最先进的语音识别论文 ★★★★ W.熊，J. Droppo，X. Huang，F. Seide，M. Seltzer，A. Stolcke，D. Yu，G. Zweig“Achieving Human Parity in Conversational Speech Recognition”。arXiv preprint arXiv：1610.05256（2016）。
读完上面这些论文，将对你深度学习的历史，深度学习模型（CNN，RNN，LSTM等）基本的架构有一个基本认识，并理解能学习深度的英文如何解决图像及语音识别问题的接下来。的将论文带你深入理解深度学习方法，深度学习在前沿领域的不同应用。根据自己的兴趣和研究方向选择阅读即可： 深度学习方法 2.1模型 辍学 ★★★ Hinton，Geoffrey E.，et al。“通过防止特征检测器的共同适应来改善神经网络”。arXiv preprint arXiv：1207.0580（2012）。
[15]过拟合 ★★★ Srivastava，Nitish，et al。“辍学：一种防止神经网络过度配合的简单方法”。机器学习研究杂志15.1（2014）：1929-1958。
[16]批次归化 - - 2015年杰出成果 ★★★★ Ioffe，Sergey和Christian Szegedy。“批量归一化：通过减少内部协变量来加速深入网络训练。arXiv preprint arXiv：1502.03167（2015）。
[17] Batch归一化的升级 ★★★★ Ba，Jimmy Lei，Jamie Ryan Kiros和Geoffrey E. Hinton。“层规范化”。arXiv preprint arXiv：1607.06450（2016）。
[18]快速训练新模型 ★★★ Courbariaux，Matthieu，et al。“二进制神经网络：训练神经网络的权重和激活约束为+ 1或-1”。
[19]训练方法创新 ★★★★★ Jaderberg，Max，et al。“使用合成梯度解耦神经接口”。arXiv preprint arXiv：1608.05343（2016）。
[20]修改预训练网络以降低训练耗时 ★★★ 陈天奇，Ian Goodfellow和Jonathon Shlens。“Net2net：通过知识转移加速学习”。arXiv preprint arXiv：1511.05641（2015）。
[21]修改预训练网络以降低训练耗时 ★★★ 魏涛等 “网络形态”。arXiv preprint arXiv：1603.01670（2016）。
2.2优化 动力优化器 ★★ Sutskever，Ilya，et al。“深入学习初始化和动力的重要性”。ICML（3）28（2013）：1139-1147。
神经优化器 ★★★★★ Andrychowicz，Marcin，et al。“通过梯度下降学习学习梯度下降”。arXiv preprint arXiv：1606.04474（2016）。
[25] ICLR最佳论文，让神经网络运行更快的新方向★★★★★ 韩，宋，惠子毛，William J. Dally。“深压缩：用修剪，训练量化和哈夫曼编码压缩深层神经网络。CoRR，abs / 1510.00149 2（2015）。
[26]优化神经网络的另一个新方向 ★★★★ Iandola，Forrest N.，et al。“SqueezeNet：AlexNet级精度，参数减少50倍，模型尺寸小于1MB。” arXiv preprint arXiv：1602.07360（2016）。
2.3无监督学习/深度生成式模型 [27] Google脑找猫的里程碑论文，吴恩达 ★★★★ Le，Quoc V.“构建使用大规模无监督学习的高级特征”。2013 IEEE国际声学，语音和信号处理会议。IEEE，2013。
[28]变分自编码机（VAE） ★★★★ [30]解卷积生成式对抗网络（DCGAN） ★★★★ Radford，Alec，Luke Metz和Soumith Chintala。“无监督的表示学习与深卷积生成对抗网络”。arXiv preprint arXiv：1511.06434（2015）。
[31]注意机制的变分自编码机 ★★★★★ [32] PixelRNN ★★★★ Oord，Aaron van den，Nal Kalchbrenner和Koray Kavukcuoglu。“像素复现神经网络”。arXiv preprint arXiv：1601.06759（2016）。
[33] PixelCNN ★★★★ Oord，Aaron van den，et al。“使用PixelCNN解码器的条件图像生成”。arXiv preprint arXiv：1606.05328（2016）。
2.4 RNN /序列到序列模型 [36]神经网络的序列到序列学习 ★★★★★ Sutskever，Ilya，Oriol Vinyals和Quoc V. Le。“使用神经网络进行序列学习”。神经信息处理系统的进展。2014年
[37]神经机器翻译 ★★★★ Bahdanau，Dzmitry，KyungHyun Cho和Yoshua Bengio。“通过联合学习来平移和翻译神经机器翻译”。arXiv preprint arXiv：1409.0473（2014）。
2.5神经网络图灵机 Zaremba，Wojciech和Ilya Sutskever。“加固学习神经图灵机”。arXiv preprint arXiv：1505.00521 362（2015）。
端对端记忆网络 ★★★★ 指针网络 ★★★★ Vinyals，Oriol，Meire Fortunato和Navdeep Jaitly。“指针网络”。神经信息处理系统进展。2015年。
[44]整合神经网络图灵机概念的里程碑论文 ★★★★★ Graves，Alex，et al。“混合计算使用神经网络与动态外部存储器”。自然（2016）。
2.6深度强化学习 [46]里程碑 ★★★★★ Mnih，Volodymyr，et al。“通过深层次的强化学习进行人为的控制”。Nature 518.7540（2015）：529-533。
Lillicrap，Timothy P.，et al。“强化学习持续控制”。arXiv preprint arXiv：1509.02971（2015）。
舒尔曼，约翰，等 “信托地区政策优化”。CoRR，abs / 1502.05477（2015）。
[52]阿尔法 ★★★★★ 2.7深度迁移学习/终生学习/强化学习 [53]班加奥教程 ★★★ [54]终生学习的简单讨论 ★★★ 银，丹尼尔·李，强杨，李良浩。“终身学习系统：超越学习算法”。AAAI春季研讨会：终身机器学习。2013。 http://citeseerx.ist./viewdoc/download?doi=10.1.1.696.7800&rep=rep1&type=pdf
[55] Hinton，Jeff Dean大神研究 ★★★★ Hinton，Geoffrey，Oriol Vinyals和Jeff Dean。“在神经网络中挖掘知识”。arXiv preprint arXiv：1503.02531（2015）。
Rusu，Andrei A.，et al。“政策蒸馏”。arXiv preprint arXiv：1511.06295（2015）。
[57]多任务深度迁移强化学习 ★★★ Parisotto，Emilio，Jimmy Lei Ba和Ruslan Salakhutdinov。“演员模仿：深度多任务和转移强化学习”。arXiv preprint arXiv：1511.06342（2015）。
累进式神经网络 ★★★★★ Rusu，Andrei A.，et al。“进步神经网络”。arXiv preprint arXiv：1606.04671（2016）。
2.8一次性深度学习 [59]不涉及深度学习，但值得一读 ★★★★★ Lake，Brenden M.，Ruslan Salakhutdinov和Joshua B. Tenenbaum。“通过概率计划诱导进行人文概念学习”。科学350.6266（2015）：1332-1338。
Vinyals，Oriol等人 “匹配网络一次学习”。arXiv preprint arXiv：1606.04080（2016）。
应用 3.1自然语言处理（NLP） Antoine Bordes，et al。“联合学习词语和开放语义分析的含义表示”。AISTATS（2012）
https://www.hds./%7Ebordesan/dokuwiki/lib/exe/fetch.php?id=en%3Apubli&cache=cache&media=en:bordes12aistats.pdf [2] ★★★ [4] ★★★★ Ankit Kumar等人 “Ask Me Anything：Dynamic Memory Networks for Natural Language Processing”。arXiv preprint arXiv：1506.07285（2015）
[5] ★★★★ Yoon Kim，et al。“字符意识神经语言模型”。NIPS（2015）arXiv preprint arXiv：1508.06615（2015）
Jason Weston等人 “完成AI问题回答：一套先决条件玩具任务”。arXiv preprint arXiv：1502.05698（2015）
Armand Joulin等人 “用于高效文本分类的技巧”。arXiv preprint arXiv：1607.01759（2016） 3.2目标检测 [1] ★★★ [2] RCNN ★★★ ★★ Girshick，Ross，et al。“丰富的功能层次结构，用于准确的对象检测和语义分割”。IEEE计算机视觉与模式识别会议论文集。2014年
[3] SPPNet ★★★ ，流量， [4] ★★★ ，流量， Girshick，Ross。“快速r-cnn”。IEEE国际计算机视觉会议论文集。2015年。
[5] ★★★ ，流量， 任少少等 “更快的R-CNN：通过区域提案网络实现实时对象检测”。神经信息处理系统的进展。2015年。
[6]相当实用的YOLO项目 ★★★ ★★ Redmon，Joseph，et al。“你只看一次：统一的，实时的对象检测。” arXiv preprint arXiv：1506.02640（2015）。 http://homes.cs./%7Eali/papers/YOLO.pdf
[8] ★★★ ，流量， 戴，吉峰等 “R-FCN：通过基于区域的完全卷积网络的对象检测”。arXiv preprint arXiv：1605.06409（2016）。
[9] ★★★ ，流量， 他，Gkioxari等人 “Mask R-CNN”arXiv preprint arXiv：1703.06870（2017）。
3.3视觉追踪 [1]第一部分采用深度学习的视觉追踪论文，DLT追踪器 ★★★ [3] FCNT ★★★ ，流量， 王立军等 “具有完全卷积网络的视觉跟踪”。IEEE国际计算机视觉会议论文集。2015年。
[5]新的最先进的实时目标追踪方案SiameseFC ★★★ ，流量， Bertinetto，Luca，et al。“全卷积暹罗网络对象跟踪”。arXiv preprint arXiv：1606.09549（2016）。
[6] C-COT ★★★ ，流量， Martin Danelljan，Andreas Robinson，Fahad Khan，Michael Felsberg。“超越相关滤波器：学习连续卷积运算符进行视觉跟踪”。ECCV（2016）
Nam，Hyeonseob，Mooyeol Baek和Bohyung Han。“用于视觉跟踪的树结构中的建模和传播CNN”。arXiv preprint arXiv：1608.07242（2016）。
3.4图像标注 法哈迪，阿里等人。“每张照片讲述一个故事：从图像生成句子”。在计算机VisionECCV 201匹配0. Sp匹配响铃柏林海德堡：2010年15-29。 https://www.cs./%7Eafarhadi/papers/sentence.pdf Kulkarni，Girish，et al。“宝贝说话：了解和生成图像描述”。2011年第24届CVPR会议录。
[3] ★★★ Vinyals，Oriol等人 “显示和告诉：神经图像字幕发生器”。在ArXiv预印版中，版本：1411.4555，2014。
[4] RNN视觉识别与标注 Donahue，Jeff，et al。“用于视觉识别和描述的长期复现卷积网络”。在ArXiv的预印版中，ArXiv：1411.4389，2014。
[5]李飞飞及高徒Andrej Karpathy ★★★ ★★ 卡尔佩斯，安德烈和李飞飞。“用于生成图像描述的深度视觉语义对齐”。在ArXiv预印版中，2014年1412.2306。
[6]李飞飞及高徒Andrej Karpathy ★★★ ，流量， Karpathy，Andrej，Armand Joulin和Fei Fei F. Li。“用于双向图像语句映射的深度片段嵌入”。2014年神经信息处理系统进展。
[7] ★★★ ，流量， 方昊等 “从字幕到视觉概念，回来”。在ArXiv的预印版中，ArXiv：1411.4952，2014。
[8] ★★★ ，流量， 陈新磊和C.劳伦斯·齐特尼克。“学习图像字幕生成的复现视觉表示”。在ArXiv预印版中，ArXiv：1411.5654，2014。
[9]★★★ 毛，俊华等 “多角度复现神经网络（m-rnn）的深刻字幕”。在arXiv预印版中，版本：1412.6632，2014。
[10] ★★★ ★★ Xu，Kelvin，et al。“显示，参加并告诉：视觉注意的神经图像字幕生成”。在arXiv预印版中，2015年第1502.03044期。
3.5机器翻译 本话题的部分里程碑论文列在2.4“RNN /序列到序列模型”话题下。 [1] ★★★ ，流量， [2] ★★★ Sennrich等人 “词语单词的神经机器翻译”。在ArXiv预印本版：1508.07909，2015。
[3]★★★ ，流量， 罗恩，闵-ang，ie u am，，克里斯托弗·丹宁。“以注意为基础的神经机器翻译的有效方法”。arXiv preprint arXiv：1508.04025（2015）。
[4] ★★ Chung等 “没有明确分割神经机器翻译的字符级解码器”。在ArXiv预印本arXiv：1603.06147，2016。
[5] ★★★ ★★ Lee，et al。“完全字符级神经机器翻译无明确分割”。在ArXiv预印版中，版本：1610.03017，2016。
[6]里程碑 ★★★ ，流量， Wu，Schuster，Chen，Le，et al。“Google的神经机器翻译系统：弥合人与机器翻译之间的差距”。在ArXiv预印版中，版本：1609.08144v2，2016。
3.6机器人 [1] ★★★ [2] ★★★ ★★ [3] ★★★ [4] ★★★ ，流量， Levine，Sergey，et al。“深度学习和大规模数据采集的机器人掌握学习手眼协调”。arXiv preprint arXiv：1603.02199（2016）。
[5] ★★★ ，流量， 朱玉科等 “使用深度加固学习的室内场景中的目标驱动视觉导航”。arXiv preprint arXiv：1609.05143（2016）。
[6] ★★★ ，流量， Yahya，Ali，et al。“集体机器人加强学习与分布式异步引导政策搜索”。arXiv preprint arXiv：1610.00673（2016）。
[7] ★★★ ，流量， 顾世祥等 “机器人操纵的深加强学习”。arXiv preprint arXiv：1610.00633（2016）。
[8] ★★★ ，流量， Rusu，M Vecerik，ThomasRoth?rl，N Heess，R Pascanu，R Hadsell。“Sim-to-Real Robot Learning from Pixels with Progressive Nets”。arXiv preprint arXiv：1610.04286（2016）。
[9] ★★★ ，流量， Mirowski，Piotr，et al。“学习在复杂的环境中导航”。arXiv preprint arXiv：1611.03673（2016）。
3.7艺术 [1] Google Deep Dream ★★★ ，流量， Mordvintsev，亚历山大 奥拉，克里斯托弗 Tyka，Mike（2015）。“实现主义：深入神经网络”。Google研究。
[2]当前最成功的艺术风格迁移方案，Prisma ★★★ ★★ [3] IgA肾病★★★，流量， 朱俊仁等 “自然图像歧管的生成视觉操作”。欧洲计算机视觉会议。斯普林格国际出版社，2016年。
[4]神经涂鸦 ★★★ ，流量， [6]超分辨率，李飞飞 ★★★ ，流量， 约翰逊，贾斯汀，亚历山大·阿拉希和李飞飞。“实时风格转移和超分辨率的感知损失”。arXiv preprint arXiv：1603.08155（2016）。
[7] ★★★ ，流量， Vincent Dumoulin，Jonathon Shlens和Manjunath Kudlur。“艺术风格的学术代表”。arXiv preprint arXiv：1610.07629（2016）。
[8]基空间位置，色彩信息与空间尺度的风格迁移 ★★★ ，流量， Gatys，Leon和Ecker等人，“Controling Perceptual Factors in Neural Style Transfer”。arXiv preprint arXiv：1611.07865（2016）。
[9]纹理生成与风格迁移 ★★★ ，流量， 3.8目标分割 [1] ★★★ ★★ J.Rong，E.Shehamer，和T.Darrell，“全面卷积网络语义分割”，CVPR，2015。
[2] ★★★ ★★ L.-C. Chen，G.Pandandreou，I.Kokkinos，K.Mullphy和ALYuille。“具有深卷积网和完全连接的crfs的语义图像分割”。在ICLR，2015年。
[3] ★★★ ，流量， Pinheiro，PO，Collobert，R.，Dollar，P.“学习分割对象候选人”。在：NIPS。2015年。
[4] ★★★ Dai，J.，He，K.，Sun，J.“Instance-aware semantic segmentation via multi-task network cascades”。在CVPR中。2016
Dai，J.，He，K.，Sun，J.“Instance-sensitive Fully Convolutional Networks”。arXiv preprint arXiv：1603.08678（2016）。
下载链接：https://pan.baidu.com/s/1pLFgO11  播放GIF
|
