深度学习Inception

2018/02/22 18:07
阅读数 160

Inception的发展经历了4个版本,不太了解的童鞋可以参考:Short history of the Inception deep learning architecture

第一次学习GoogLeNet网络架构就深深被Inception的设计所吸引(如下图右),摸索着学习了部分设计灵感。

  

Inception V1的原始设计如下图(左)所示。

  灵感:减少人工调整每个卷积窗口的大小&加深网络,是不是可以在同一层中具备不同大小的卷积(1*1,3*3,5*5,3*3池化)学习到输入图像的稀疏/不稀疏特征?

 GoogleLeNet中的使用了许多Inception V1 network, 架构参数减少了许多

Inception V1

  启发:

  1.最后阶段的full connection layer不是必须的,global average pooling可代替FC层减少over fitting risk。

  2.Inception v1通过DepthConcat将多类型卷积输出的feature block合成,获得非线性属性。不用像传统的卷积层后面通过增加激活函数/pooling层增加非线性。

  

Inception V2:

  主要关于因子分解(传统的7*7卷积,可以分解为三个3*3尺寸的卷积)

 

Inception V3:

  Inception V2变体+Batch Normalize辅助

 

Inception V4:

  标准化,高可用性设计(Inception-A/B/C),详细参考 paer: Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning

  

 

Inception-ResNet:

  Inception和ResNet的结合体

  灵感:ResNet的跳跃连接使得CNN输入信息传递更深,构建更深的网络,加速网络收敛。

  启发:多架构融合和标准化的趋势

   

 

展开阅读全文
加载中

作者的其它热门文章

打赏
0
0 收藏
分享
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部
返回顶部
顶部