学习笔记：深度学习之“深”

在实践中，通常认为深度学习就是深层神经网络，因此，深度学习之“深”表明的是神经网络的层数，也就是该模型由连续的多少层（Layer）构成，而每一层都对模型做出了贡献。

 

为便于说明，我们看一个案例，如下图所示[1]（图片来源，参考文献[1]，figure 1.5）。该网络是一个4层神经网络，目的是识别图片中的数字。

进一步，我们可以观察一下每一层网络的输出，当前层网络的输出又构成下一层网络的输入，如下图所示（图片来源，参考文献[1]，figure 1.6）。不难看出，从第一层到第四层，每层的输出与原始图片差异越来越大，但包含的信息却越来越丰富，越来越逼近“真相”。

事实上，我们可以认为深层神经网络就是执行多层信息提取的操作，每一层可以看作一套滤波器，输入数据经过连续的多个滤波器被不断过滤、“净化”，最终得到真相。

参考文献：

[1] Deep Learning with Python, FrancoisChollet, Manning Publications Co. 2018

文 | Lauren 图 | Lauren

Copyright @ Lauren的FPGA