7

【论文笔记】Visualizing and understanding CNN

 3 years ago
source link: https://www.guofei.site/2019/11/07/transfer_learning_dnn.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

【论文笔记】Visualizing and understanding CNN

2019年11月07日

Author: Guofei

文章归类: 0-读论文 ,文章编号: 6


版权声明:本文作者是郭飞。转载随意,但需要标明原文链接,并通知本人
原文链接:https://www.guofei.site/2019/11/07/transfer_learning_dnn.html

Edit
  • Visualizing and understanding convolutional networks (2014), M. Zeiler and R. Fergus [pdf]
  • 镜像地址 pdf

abstract&introduction

最近人们发现,CNN的效果很好,但没人知道:

  • 为什么表现好
  • 如何提升效果

这篇论文就是要解决这个问题。并提出了一些创新的可视化方法。

做法

这篇文章用的是这种CNN:ReLU、带max pooling、(有时)有正则化。

(原文不够详细,我又查了其它资料)

deconvnet

1. Unpooling

pooling是不可逆的,因此需要一定的期缴来处理。在做pooling时,额外记最大的坐标,然后unpooling的过程中,把相应坐标填进去,其余格子置为0

下面这个示意图是在其他地方找的:

visualizing_and_understanding1

2. Rectification

因为用的激活函数是ReLu,因此反激活过程也是ReLu

3. Filtering

训练

用的是 ImageNet 2012,细节就不摘抄了。

可视化

用前面写的 deconvnet,对某个激活值,不是给出最大的图片,而是给出top9


您的支持将鼓励我继续创作!

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK