|
上一篇我们发布了《干货分享 | 深度学习零基础进阶大法！》，相信读者一定对深度学习的历史有了一个基本了解，其基本的模型架构（CNN/RNN/LSTM）与深度学习如何应用在图片和语音识别上肯定也不在话下了。今天这一部分，我们将通过新一批论文，让你对深度学习的方式与深度学习在不同领域的运用有个清晰的了解。由于第二部分的论文开始向细化方向延展，因此你可以根据自己的研究方向酌情进行选择。本文对每篇论文都增加了补充介绍，分上下两篇。 1.深度学习模型 Hinton 与 Geoffrey 等技术专家合著的《Improving neural networks by preventing co-adaptation of feature detectors》也很有指导意义。论文提出，在训练神经网络模型时，如果训练样本较少，为了防止模型过拟合，Dropout 可以作为一种 trikc 供选择。 [1] https:///pdf/1207.0580.pdf 关于 Dropout，Srivastava 与 Nitish 等技术专家也合著过《Dropout: a simple way to prevent neural networks from overfitting》一文。论文提出，拥有大量参数的深度神经网络是性能极其强大的机器学习系统，但过度拟合问题却成了系统中难以解决的一个大问题，而 Dropout 是处理这一问题的技术捷径。 [2] http://www./papers/volume15/srivastava14a.old/source/srivastava14a.pdf 深度神经网络的训练是个复杂异常的活，因为训练中每一层参数的更改都会牵一发而动全身，而这一问题就造成训练效率低下。Ioffe、 Sergey 和 Christian Szegedy在《Batch normalization: Accelerating deep network training by reducing internal covariate shift》一文中着重介绍了解决这一问题的关键：内部协变量的转变。 [3] https:///pdf/1502.03167.pdf 深度神经网络的训练非常考验计算能力，而要想缩短训练时间，就必须让神经元的活动正常化，而最新引入的“批规范化”技术则是解决这一问题的突破口。完成技术突破的技术方式纠缠在多位专家合著的这份名为《Layer normalization》的论文中。 [4] https:///pdf/1607.06450.pdf?utm_source=sciontist.com&utm_medium=refer&utm_campaign=promote 《Binarized Neural Networks: Training Neural Networks with Weights and Activations Constrained to 1 or?1》是今年2月份刚刚出炉的论文，论文的主要思想是通过二值化weights和activations，来提高NN的速度和减少其内存占用。由于二值网络只是将网络的参数和激活值二值化，并没有改变网络的结构，因此我们要关注如何二值化，以及二值化后参数如何更新。 [5] https://pdfs./f832/b16cb367802609d91d400085eb87d630212a.pdf 《Decoupled neural interfaces using synthetic gradients》是一篇来自Google DeepMind很有意思的神经网络论文，论文中用合成的梯度来分解backprop中的关联关系，五星推荐。 [6] https:///pdf/1608.05343.pdf 2. 深度学习优化 《On the importance of initialization and momentum in deep learning》一文介绍了初始化和Momentum技术在深度学习方面的重要性，更多的着眼在实验分析上。 [7] http://www./proceedings/papers/v28/sutskever13.pdf Adam是一种基于梯度的优化方法，与SDG类似。其具体信息可以参阅论文《Adam: A method for stochastic optimization》。 [8] https:///pdf/1412.6980.pdf 《Learning to learn by gradient descent by gradient descent》由 Andrychowicz 和 Marcin 等专家撰写而成，本文的思想是利用LSTM学习神经网络的更新策略，即利用梯度下降法学习一个优化器，然后用这个优化器去优化其他网络的参数。该文指导意义颇强，五星推荐。 [9] https:///pdf/1606.04474.pdf 斯坦福大学的 Song Han 与 Huizi Mao 等专家撰写了一系列有关网络压缩的论文，《Deep compression: Compressing deep neural network with pruning, trained quantization and huffman coding》是其中一篇，论文题目已经概括了文中的三个重点，非常清晰明了。同时它也荣获了 ICLR 2016 最佳论文，五星推荐。 [10] https://pdfs./5b6c/9dda1d88095fa4aac1507348e498a1f2e863.pdf 《SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and< 1MB model size》由 Iandola 和 Forrest N 等专家撰写，开头论文先提了在相同精确度下，体积更小的深度神经网络有着3点好处。随后，提出了本文的创新 SqueezeNet 并给出了一个分类精度接近 AlexNet1 的网络，模型缩小 510 倍，还归纳了缩小模型尺寸时的设计思路。 [11] https:///pdf/1602.07360.pdf 3. 无监督学习/深层生成模型 《Building high-level features using large scale unsupervised learning》讲述了 Google Brain 中特征学习的原理，通过使用未标记的图像学习人脸、猫脸特征，得到检测器。文章使用大数据构建了一个9层的局部连接稀疏自编码网络，使用模型并行化和异步 SGD 在 1000 个机器（16000核）上训练了 3 天，实验结果显示可以在未标记图像是否有人脸的情况下训练出一个人脸检测器。 [12] https:///pdf/1112.6209.pdf&embed Kingma、 Diederik P 和 Max Welling 三位专家共同撰写了《Auto-encoding variational bayes》，该论文提出一个融合 Variational Bayes 方法和神经网络的方法，这个方法可以用来构造生成模型的自编码器。 [13] https:///pdf/1312.6114.pdf 《Generative adversarial nets》是 Ian Goodfellow 大神的 2014 年的论文，中文应该叫做对抗网络，在许多教程中作为非监督深度学习的代表作给予推广。本文解决了非监督学习中的著名问题：给定一批样本，训练一个系统，能够生成类似的新样本。五星推荐。 [14] http://papers./paper/5423-generative-adversarial-nets.pdf 《Unsupervised representation learning with deep convolutional generative adversarial networks》是在 GAN 的论文中提出的对抗模型的原型，本文给出了基于卷机网的实现。同时还描述了实现过程中的细节，比如参数设置。也提到了解决 GAN 中训练不稳定的措施，但是并非完全解决。文中还提到利用对抗生成网络来做半监督学习。在训练结束后，识别网络可以用来提取图片特征，输入有标签的训练图片，可以将卷基层的输出特征作为 X ，标签作为 Y 做训练。 [15] https:///pdf/1511.06434.pdf 《DRAW: A recurrent neural network for image generation》来自谷歌，描述了如何用 Deep Recurrent Attentive Writer (DRAW)神经网络框架自动生成图像，五星推荐。 [16] http:///proceedings/papers/v37/gregor15.pdf 《Pixel recurrent neural networks》是谷歌 ICML 获奖论文，它解释了像素递归神经网络是如何帮图片“极致”建模的。在这篇文章中，作者在深度递归网络下建立了对自然图片的通用建模并显著提升了它的效率。此外，作者提出了一种新颖的二维 LSTM 层：ROW LSTM和 Diagonal BiLSTM，它能更容易扩展到其他数据上。 [17] https:///pdf/1601.06759.pdf 《Conditional Image Generation with PixelCNN Decoders》来自谷歌DeepMind团队。他们研究一种基于PixelCNN（像素卷积神经网络）架构的模型，可以根据条件的变化生成新的图像。如果该模型输入ImageNet图像库的分类标签照片，该模型能生成多变的真实场景的照片，比如动物、风景等。如果该模型输入其他卷积神经生成的未见过的人脸照片，该模型能生成同一个人的不同表情、姿势的照片。 [18] https:///pdf/1606.05328.pdf 4. 循环神经网络/序列到序列模式 《Generating sequences with recurrent neural networks》一文由 Graves 和 Alex 两位专家合力撰写，这篇论文解释了用递归神经网络生成手写体的原理。 [19] https:///pdf/1308.0850.pdf 《Learning phrase representations using RNN encoder-decoder for statistical machine translation》完成了将英文转译为法文的任务，使用了一个 encoder-decoder 模型，在 encoder 的 RNN 模型中是将序列转化为一个向量。在 decoder 中是将向量转化为输出序列，使用 encoder-decoder 能够加入词语与词语之间的顺序信息。此外，还将序列表达为一个向量，利用向量能够清楚的看出那些语义上相近的词聚集在一起。 [20] https:///pdf/1406.1078.pdf 《Sequence to sequence learning with neural networks》是谷歌的 I. Sutskever 等人提出的一种序列到序列的学习方法, 最直接的应用就是机器翻译。 [21] http://papers./paper/5346-information-based-learning-by-agents-in-unbounded-state-spaces.pdf Attention 机制最早是在视觉图像领域提出来的，随后 Bahdanau 等人在论文《Neural Machine Translation by Jointly Learning to Align and Translate》中，使用类似 attention 的机制在机器翻译任务上将翻译和对齐同时进行，他们算是第一个提出将 attention 机制应用到 NLP 领域中的团队。 [22] https:///pdf/1409.0473v7.pdf 《A Neural Conversational Model》是最早应用于序列到序列框架建立对话模型的论文，即便其中使用的模型结构并不复杂，网络层数数量也不多，但效果是却很可观。 [23] https:///pdf/1506.05869.pdf 5.神经图灵机 《Neural turing machines》一文介绍了神经图灵机，一种从生物可行内存和数字计算机的启发产生的神经网络架构。如同传统的神经网络，这个架构也是可微的端对端的并且可以通过梯度下降进行训练。我们的实验展示了它有能力从样本数据中学习简单的算法并且能够将这些算法推广到更多的超越了训练样本本身的数据上。绝对的五星推荐。 [24] https:///pdf/1410.5401.pdf 神经图灵机是当前深度学习领域三大重要研究方向之一。论文《Reinforcement learning neural Turing machines》利用增强学习算法来对神经网络进行训练，从而使神经图灵机的界面变得表现力十足。 [25] https://pdfs./f10e/071292d593fef939e6ef4a59baf0bb3a6c2b.pdf 《Memory networks》由四位专家撰写而成，实际上所谓的 Memory Network 是一个通用的框架而已，内部的输入映射、更新记忆映射、输出映射、响应映射都是可以更换的。 [26] https:///pdf/1410.3916.pdf 《End-to-end memory networks》在算法层面解决了让记忆网络端对端进行训练的问题，在应用方面则解决了问题回答和语言建模等问题。 [27] http://papers./paper/5846-end-to-end-memory-networks.pdf 《Pointer networks》中提出了一种新型的网络架构，用来学习从一个序列输入到一个序列输出的推导。跟以往的成果不同之处在于，输入输出的长度都是可变的，输出的长度跟输入有关。 [28] http://papers./paper/5866-pointer-networks.pdf 《Hybrid computing using a neural network with dynamic external memory》是谷歌 DeepMind 首发于《自然》杂志的论文，它介绍了一种记忆增强式的神经网络形式，其被称为可微神经计算机（differentiable neural computer），研究表明它可以学习使用记忆来回答有关复杂的结构化数据的问题，其中包括人工生成的故事、家族树、甚至伦敦地铁的地图。研究还表明它还能使用强化学习解决拼图游戏问题。五星推荐。 [29] https://www./s/0a40xi702grx3dq/2016-graves.pdf 6. 深度强化学习 终于！我们来到了深度强化学习的门下。说到这个名词，怎么能不提第一篇提出深度强化学习的论文呢？Mnih 所写的《Playing atari with deep reinforcement learning》将卷积神经网络和 Q Learning 结合，使用同一个网络玩 Atari 2600（也就是打方块）这类只需要短时记忆的 7 种游戏。结果显示，这种算法无需人工提取特征，还能生成无限样本以实现监督训练。 [30] http:///pdf/1312.5602.pdf 而至于深度强化学习的里程碑之作，同样要属同一作者的《Human-level control through deep reinforcement learning》，作者发明了一个名为DQN也就是深度Q网络的东西，让人工神经网络能直接从传感器的输入数据中获得物体分类，成功实现端到端的强化学习算法从高维的传感器输入中直接学习到成功策略。 [31] http://www.:8888/research/nature14236.pdf 而接下来这篇名为《Dueling network architectures for deep reinforcement learning》的文章则提出了一个新的网络——竞争架构网络。它包括状态价值函数和状态依存动作优势函数。这一架构在多种价值相似的动作面前能引发更好的政策评估。此文当选 ICML 2016最佳论文大奖。 《Asynchronous methods for deep reinforcement learning》由 DeepMind 出品，主要增强了 Atari 2600 的游戏效果，也被视为通过多个实例采集样本进行异步更新的经典案例。 比起传统的规划方法，《Continuous control with deep reinforcement learning》里提到的DQL方法能够应用于连续动作领域，鲁棒解决了 20 个仿真运动，采用的是基于ICML 2014的Deterministic policy gradient （DPG）的 actor-critic 算法，名为 DDPG。 《Continuous Deep Q-Learning with Model-based Acceleration》采用了 Advantage Function 完成增强学习工作，但主要集中于变量连续行动空间。而就像标题所言，为了加快机器经验获取，研究还用卡尔曼滤波器加局部线性模型。实验结果显示，这种方法比前一篇论文提及的 DDPG 要好些。 Schulman的《Trust region policy optimization》可谓是计算机玩游戏的一大突破，这个名为 TRPO 的算法所呈现的结果丝毫不逊色于 DeepMind 的研究成果，展示了一种广义的学习能力。除了叫机器人走路，我们还能让它成为游戏高手。 [36] http://www./proceedings/papers/v37/schulman15.pdf 接下来介绍的这篇论文就是鼎鼎大名的 AlphaGo 所运用的算法，《Mastering the game of Go with deep neural networks and tree search》里，谷歌运用了 13 层的策略网络，让计算机学会用蒙特卡罗搜索树玩围棋游戏。当然，五星推荐此篇，不服来辩。 [37] http:///~levenick/cs448/goNature.pdf 7. 无监督特征学习 《Deep Learning of Representations for Unsupervised and Transfer Learning》可谓无监督特征学习的开山之作。 [38] http://www./proceedings/papers/v27/bengio12a/bengio12a.pdf 而接下来的这篇《Lifelong Machine Learning Systems: Beyond Learning Algorithms》主要提到的观点是，如果一个具有Lifelong Machine Learning能力的机器学习系统，是否能够使用解决此前问题的相关知识帮助它解决新遇到的问题，也就是举一反三的能力。文章在 2013 年的AAAI 春季研讨会上首次提出。 [39] http://citeseerx.ist./viewdoc/download?doi=10.1.1.696.7800&rep=rep1&type=pdf 人工智能教父又来了，他这次和 Dean 合作带来的是《Distilling the knowledge in a neural network》，也就是压缩神经网络。不过核心创新貌似不多，所以给个四星吧。 《Policy distillation》，文章由谷歌大神Andrei Alexandru Rusu 所写，同款文章还有 Parisotto 的《Actor-mimic: Deep multitask and transfer reinforcement learning》，都是在讲 RL 域的问题。 这里还有另外一篇 Andrei 的文章，名为《Progressive neural networks》，提出了一项名为“渐进式神经网络”的算法，即在仿真环境中训练机器学习，随后就能把知识迁移到真实环境中。无疑，这将大大加速机器人的学习速度。 8. 一步之遥 以下五篇论文虽然并不是完全针对深度学习而推荐，但包含的一些基本思想还是具有借鉴意义的。 《Human-level concept learning through probabilistic program induction》五星推荐，文章主要介绍了贝叶斯学习程序（BPL）框架，“如何依靠简单的例子来对新概念进行学习和加工，学习主体是人类。” [44] http://clm./compjclub/wp-content/uploads/2016/02/lake2015.pdf 而读读 Koch 的《Siamese Neural Networks for One-shot Image Recognition》和这篇《One-shot Learning with Memory-Augmented Neural Networks》着实很有必要。 [45] http://www.cs./~gkoch/files/msc-thesis.pdf 将重点放在大数据上的《Low-shot visual object recognition》则是走向图像识别的必要一步。 以上便是第二阶段值得一读的论文，敬请期待后续更新。 |
|
|
