深度学习权重初始化

2019/04/10 10:10
阅读数 48

深度学习其本质是优化所有权重的值,使其达到一个最优解的状态,这其中,需要更新权重的层包括卷积层、BN层和FC层等。在最优化中,权重的初始化是得到最优解的重要步骤。如果权重初始化不恰当,则可能会导致模型陷入局部最优解,导致模型预测效果不理想,甚至使损失函数震荡,模型不收敛。而且,使用不同的权重初始化方式,模型最终达到的效果也是很不一样的。因此,掌握权重的初始化方式是炼丹师必备的炼丹术之一。在这里,我介绍一下深度学习中,我们常用的几种权重初始化的方式。


 

Xavier初始化

Xavier初始化方法提出于2010年的《Understanding the difficulty of training deep feedforward neural networks》中。Xavier初始化的方式其基本思想是“方差一致性”,即保持激活值的方差一致或者梯度的方差一致,这样有利于优化。基于该基本思想,作者假设每层的输入位于激活函数的线性区域,且具备零点对称的分布。

  • 保持激活值的方差一致

首先,对于每个卷积层,其响应结果为:

$$Y_l=W_lX_l+b_l \tag{1}$$

其中,$X_l$是每层的输入参数,其shape为$(k\times k\times c)$,$k$为特征图的尺寸,$c$是通道数;$W_l$是该层的卷积核参数,其shape为$(d\times k\times k\times c)$,$d$表示卷积核的数量;$b_l$是偏差,我们通常让其为0。从公式(1)中,可以得知,$X_l=f(Y_{l-1})$和$c_l=d_{l-1}$,其中$f()$表示激活函数。

假设每层的$W_l$是相互独立的,且同分布;每层的$X_l$是相互独立的,且同分布;$W_l$和$X_l$是相互独立的。因此,令$b_l=0$,可以得到:

$$Var[y_l]=n_lVar[w_lx_l] \tag{2}$$

其中,$y_l$,$w_l$和$x_l$表示$Y_l$,$W_l$和$X_l$的每个随机变量,$n_l=k^2c$表示神经元个数。令$w_l$具有零均值,且关于零点对称分布;$x_l$也具有零均值,且位于激活函数的线性区域,$x_l=f(y_{l-1})=y_{l-1}$,所以:

\begin{align*}
Var[y_l]&=n_lVar[w_lx_l] \\
&=n_lVar[w_l]Var[x_l] \\
&=n_lVar[w_l]Var[y_{l-1}] \tag{3}
\end{align*}

因此,对于L层的输出,有:

$Var[y_L]=Var[y_1]\left ( \prod _{l=2}^L n_lVar[w_l] \right ) \tag{4}$

所以,公式(4)是初始化设计的关键,如果每层的$n_lVar[w_l]$过大或者过小,都会导致最后输出的值会指数型的增加或减少。因此,对于所有层,都需要满足:

$$n_lVar[w_l]=1 \tag{5}$$

所以,每层权重的初始化服从零均值,方差为$\frac{1}{n_l}$的分布。

  • 保持梯度的方差一致

对于后向梯度传播而言,每个卷积层的的梯度为:

$$\triangle X_l=\hat{W_l}\triangle Y_l \tag{6}$$

其中,$\triangle X_l$和$\triangle Y_l$分别表示梯度;$\triangle Y$的shape为$(k\times k\times d)$;$\hat{W}$的shape为$(c\times k\times k\times d)$,这里的$\hat{W}$和$W$可以变换形状进行转换。同样,这里假设$w_l$和$\triangle y_l$相互独立,$\triangle x_l$具有零均值,$w_l$关于零点对称分布。在公式(6)中,可以得到:

$$\triangle y_l=f'(y_l)\triangle x_{l+1} \tag{7}$$

由于假设位于线性激活区域,$f'(y_l)=1$,所以:

\begin{align*}
Var[\triangle x_l]&=\hat{n_l}Var[\hat{w_l}\triangle y_l] \\
&=\hat{n_l}Var[\hat{w_l}]Var[\triangle y_l] \\
&=\hat{n_l}Var[\hat{w_l}]Var[\triangle x_{l+1}] \tag{8}
\end{align*}

其中,$\hat{n_l}=k^2d$,与上述的$n_l=k^2c$不一样,但都表示神经元个数。

将L层结果堆积起来,得到

$$Var[\triangle x_2]=Var[\triangle x_{L+1}](\prod _{l=2}^L\hat{n_l}Var[w_l]) \tag{9}$$

同样,为了使公式(8)不会过大或者过小(过大或者过小会导致梯度爆炸或者梯度弥散),让每层梯度均满足:

$$\hat{n_l}Var[w_l]=1 \tag{10}$$

所以,每层权重的初始化服从零均值,方差为$\frac{1}{\hat{n_l}}$的分布。

 

上面从激活值的方差和梯度的方差进行了推导,对比公式(5)和公式(10),发现两者存在差异,但使用哪种方式进行权重初始化,都是可以接受的。假设我们使用使用公式(10)进行权重初始化,那么公式(9)中$\prod _{l=2}^L\hat{n_l}Var[w_l]=1$,代入公式(4)中,有$\prod _{l=2}^Ln_lVar[w_l]=\prod _{l=2}^L\frac{n_l}{\hat{n_l}}=\frac{c_2}{d_L}$,这样同样不会使输出的值过大或者过小。

作者为了同时满足公式(5)和公式(10),对两者进行取均值,因此,对所有层,权重初始化需要满足:

$$Var(w_l)=\frac{2}{n_l+\hat{n_l}} \tag{11}$$

其中,对于第$l$层而言,$n_l=k^2c$和$\hat{n_l}=k^2d$表示第$l$层与第$l-1$层的神经元数量关系,差异是输入通道$c$和输出通道$d$的区别。

因此,Xavier初始化方式需要服从零均值,方差为$\frac{2}{n_l+\hat{n_l}}$。在论文中,使用的是均匀分布,零点对称的均匀分布的方差为$\frac{a^2}{3}$,因此,Xavier初始化方式服从$W\sim U\left [-\sqrt{\frac{6}{n_l+\hat{n_l}}},\sqrt{\frac{6}{n_l+\hat{n_l}}}  \right ]$的均匀分布。

 

He初始化

He初始化是由何凯明大神与2015年在《Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification》中提出的。其基本思想和Xavier一致,保持方差的一致性,且推导也是在Xavier初始化方式类似。

Xavier初始化方式中,其假设激活函数是线性的。但随着深度学习的发展,ReLU已经是常见的激活函数了,其不是线性的,所以Xavier初始化会对ReLU系列的激活函数失效。因此,何凯明在基于激活函数是ReLU的基础上,推导出He初始化方式。

  • 保持激活值的方差一致

假设$w_l$具有零均值,$w_l$与$x_l$相互独立,所以$Var[w_l]=E[w_l^2]-E^2[w_l]=E[w_l^2]$。而激活函数是ReLU,有$x_l=max(0,y_{l-1})$,所以$x_l$不具备零均值,且$E[x_l^2]=\frac{1}{2}Var[y_{l-1}]$。因此,公式(2)可以得到

\begin{align*}
Var[y_l]&=n_lVar[w_lx_l] \\
&=n_l(E[(w_lx_l)^2]-E^2[w_lx_l]) \\
&=n_l(E[w_l^2]E[x_l^2]-E^2[w_l]E^2[x_l]) \\
&=n_lE[w_l^2]E[x_l^2] \\
&=n_lVar[w_l]E(x_l^2) \\
&=\frac{1}{2}n_lVar[w_l]Var[y_{l-1}] \tag{12}
\end{align*}

对比公式(3)和公式(12),可以发现,两者相差了$\frac{1}{2}$的系数,这个系数是由ReLU引起的。因此,将L层输出堆积在一起,可以得到

$$Var[y_L]=Var[y_1]\left ( \prod _{l=2}^L \frac{1}{2} n_lVar[w_l] \right ) \tag{13}$$

因此,对于每一层都需要满足:

$$\frac{1}{2}n_lVar[w_l]=1 \tag{14}$$

所以,每层权重的初始化服从零均值,方差为$\frac{2}{n_l}$的分布。

  • 保持梯度的方差一致

由公式(7)可以得知,对于ReLU而言,$f'(y_l)$等于$0$或者$1$,两者的概率是相同的。而又假设$\triangle x_l$具有零均值,$f'(y_l)$与$\triangle x_{l+1}$是相互独立的,可以得到$E[\triangle y]=\frac{E[\triangle x_{l+1}]}{2}=0$和$E[(\triangle y)^2]=Var[\triangle y]=\frac{1}{2}Var[\triangle x_{l+1}]$。结合这些条件,可以从公式(7)导出:

\begin{align*}
Var[\triangle x_l]&=\hat{n_l}Var[w_l]Var[\triangle y_l] \\
&=\hat{n_l}Var[w_l](E[\triangle ^2y_l]-E^2[\triangle y_l]) \\
&=\frac{1}{2}\hat{n_l}Var[w_l]Var[\triangle x_{l+1}]  \tag{15}
\end{align*}

公式(10)和公式(15)主要的差别也是$\frac{1}{2}$的系数,同样是由于ReLU引起的。因此将L层堆积起来,可以得到

$$Var[\triangle x_2]=Var[\triangle x_{L+1}](\prod _{l=2}^L\frac{1}{2}\hat{n_l}Var[w_l])  \tag{16}$$

因此,对于每一层都需要满足:

$$\frac{1}{2}\hat{n_l}Var[w_l]=1 \tag{17}$$

所以,每层权重的初始化服从零均值,方差为$\frac{2}{\hat{n_l}}$的分布。

 

同样,使用公式(14)或者公式(17)对网络权重进行初始化都可以,服从零均值、方差为$\frac{2}{n_l}$或者$\frac{2}{\hat{n_l}}$的分布。在论文中,作者选择使用了高斯分布,即服从$W\sim G\left [0,\sqrt{\frac{2}{n}}  \right ]$的高斯分布。

 

预训练初始化

在实际中,我们大部分是在已有的网络上进行修改,得到预期结果后,再对网络进行裁剪等操作。而预训练模型是别人已经在特定的数据集(如ImageNet)上进行大量迭代训练的,可以认为是比较好的权重初始化。加载预训练模型进行初始化,能使我们进行更高频率的工程迭代,更快得到结果。而且,通常加载预训练模型会得到较好的结果。

但是要注意几个问题:

  1. 许多文章指出,当源场景与目标场景差异过大时,加载预训练模型可能不是一种很好的方式,会导致领域失配;
  2. 何凯明在2019年的《Rethinking ImageNet Pre-training》中指出,加载预训练模型并不能使准确率提高,只要迭代步数够多,随机初始化也能产生相同的效果。但实际中,我们无法得知得迭代多少次,模型才饱和;而且迭代步数越多,时间成本也就越大。

总体来说,如果初始版本的模型存在预训练模型的话,我们可以通过加载预训练模型来进行初始化,快速得到结果;然后再根据需求,对初始版本的网络进行修改。

 


 

综上所示,如果模型存在预训练模型,尽可能使用预训练进行初始化;而对于没有预训练模型或者新加了部分层,可以使用He初始化方式来进行初始化。

 

参考材料

  1. https://blog.csdn.net/weixin_35479108/article/details/90694800
  2. https://www.zhihu.com/question/291032522/answer/605843215

 

原文出处:https://www.cnblogs.com/dengshunge/p/12380829.html

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部