|
作者&编辑 | 言有三 1 基于梯度法的输入可视化 Dumitru Erhan和Yoshua Bengio等人在2009年提出从DBN网络的输出，进行从顶到底的计算来得到输入的样本，用于可视化激活模式，后来在2013年Karen Simonyan等人则首次将其应用到深层图像分类网络的可视化中，这是一类输入可视化方法，用于分析模型对什么样的输入感兴趣，后续还有一系列的改进方法。 文章引用量：5000+ 推荐指数：✦✦✦✦✦  [1] Simonyan K, Vedaldi A, Zisserman A. Deep inside convolutional networks: Visualising image classification models and saliency maps[J]. arXiv preprint arXiv:1312.6034, 2013. 2 基于反卷积的特征可视化 反卷积可视化方法是一个非常经典又独特的方法，它与梯度计算法不同，其核心思想是利用上采样从特征空间逐步恢复到图像空间，必须要使用真实的输入数据进行前向和反向传播。而可视化的结果则类似，也是一些特定的激活输入模式。 文章引用量：16000+ 推荐指数：✦✦✦✦✦  [2] Zeiler M D, Fergus R. Visualizing and understanding convolutional networks[C]//European conference on computer vision. Springer, Cham, 2014: 818-833. 3 反向传播梯度可视化 当前的神经网络基本上都是基于反向传播来进行优化，通过计算各个输入单元的梯度，其实也可以将其作为输入单元的重要性。在进行可视化的时候，通常使用图像*梯度。这一类方法称之为基于反向传播的梯度可视化方法，或者简称为梯度计算法，包含了一系列改进。 文章引用量：3000+ 推荐指数：✦✦✦✦✦  [3] Sundararajan M, Taly A, Yan Q. Axiomatic attribution for deep networks[C]//International conference on machine learning. PMLR, 2017: 3319-3328. 4 热图可视化方法 输入图片中包含了很多的像素，但前景和背景对神经网络的重要性显然是不一样的，即使前景的各个像素也是不一样。通过对输入中各个元素的重要性进行量化和分析，能够帮助大家理解是什么样的内容影响了模型的输出，其中最成熟的方法就是激活热图可视化方法，主要是原生的CAM和Grad-CAM。 文章引用量：16000+ 推荐指数：✦✦✦✦✦  [4] Zhou B , Khosla A , Lapedriza A , et al. Learning Deep Features for Discriminative Localization[C]// CVPR. IEEE Computer Society, 2016. [5] Selvaraju R R , Cogswell M , Das A , et al. Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization[J]. International Journal of Computer Vision, 2020, 128(2):336-359. 5 模型可视化的一些工具 当前有一些研究者开发了一些模型可视化的基础工具，可以对网络的输入信号，输出结果，中间的特征图进行直观的查看，类似的工具非常多，比较典型的如3D可视化工具Zetane Engine，CNN EXPLAINER等，大家可以去搜索相关工具进行尝试。
[6] Wang Z J, Turko R, Shaikh O, et al. CNN explainer: learning convolutional neural networks with interactive visualization[J]. IEEE Transactions on Visualization and Computer Graphics, 2020, 27(2): 1396-1406. [7] https://github.com/poloclub/cnn-explainer
本次我们简单介绍了模型可视化分析的一些重要内容，这是模型可解释性研究领域里非常重要的内容，对于理解复杂的深度学习模型是必备的知识，值得所有从业者掌握。 |
|
|
