反向传播四个基本方程

编程基础 • 2024-12-21 21:57 • 阅读 18

定义

$\begin{aligned} z_j^l&=\sum_kw_{jk}^la_k^{l-1}+b_j^l&(1.1)\\ a_j^l&=\sigma(z_j^l)&(1.2)\\ C&=\frac{1}{2}\sum_j(y_j-a_j^l)^2&(1.3) \end{aligned}$

其中

$z_j^l$ 为第 $l$ 层第 $j$ 个神经激活函数的带权输入
$a_j^l$ 为第 $l$ 层第 $j$ 个神经的激活输出， $\sigma$ 是激活函数
$C$ 为输出层二次代价函数

定义第 $l$ 层的第 $j$ 个神经的误差 $\delta_j^l$ 为：

$\delta_j^l=\frac{\partial C}{\partial z_j^l}\tag{2}$

BP基本方程

$\begin{aligned} &\delta_j^L&=&(a_j^L-y_j)\sigma'(z_j^L)&(3.1)\\ &\delta_j^l&=&\sigma'(z_j^l)\sum_kw_{kj}^{l+1}\delta_k^{l+1}&(3.2)\\ &\frac{\partial C}{\partial b_j^l}&=&\sigma_j^l&(3.3)\\ &\frac{\partial C}{\partial w_{jk}^l}&=&a_k^{l-1}\delta_j^l&(3.4) \end{aligned}$

其中

$\delta_j^L$ 是输出层第 $j$ 个神经误差
$\delta_j^l$ 是第 $l$ 层第 $j$ 个神经误差，式(3.2)实现了通过下一层的误差计算当前层误差
$\frac{\partial C}{\partial b_j^l}$ 是代价函数关于网络中第 $l$ 层第 $j$ 个偏置的改变率，式(3.3)说明了该改变率就是对应神经的误差
$\frac{\partial C}{\partial w_{jk}^l}$ 是代价函数关于网络中连接第 $l - 1$ 层第 $k$ 个神经与第 $l$ 层第 $j$ 个神经权重的改变率，式(3.4)表明其仅与该神经误差和第 $l - 1$ 层第 $k$ 个神经的激活输出有关

方程推导

方程3.1

$\begin{aligned} \delta_j^L=&\frac{\partial C}{\partial z_j^L}\\=&\frac{\partial C}{\partial a_j^L}\frac{\partial a_j^L}{\partial z_j^L}\\=&\frac{\partial C}{\partial a_j^L}\frac{\partial [\sigma(z_j^L)]}{\partial z_j^L}\\=&\frac{[\frac{1}{2}\sum_k(y_k-a_k^L)^2]}{\partial a_j^L}\sigma'(z_j^L)\\=&(a_j^L-y_j)\sigma'(z_j^L) \end{aligned}$

方程3.2

$\begin{aligned} \delta_j^l=&\frac{\partial C}{\partial z_j^l}\\=&\sum_k\left ( \frac{\partial C}{\partial z_k^{l+1}}\frac{\partial z_k^{l+1}}{\partial z_j^l}\right )\\=&\sum_k\left ( \delta_k^{l+1}\frac{\partial z_k^{l+1}}{\partial z_j^l}\right ) \end{aligned}$
因为
$\begin{aligned} z_k^{l+1}=&\sum_j(w_{kj}^{l+1}a_j^l+b_k^{l+1})\\=&\sum_j(w_{kj}^{l+1}\sigma(z_j^l)+b_k^{l+1}) \end{aligned}$
有
$\frac{\partial z_k^{l+1}}{\partial z_j^l}=w_{kj}^{l+1}\sigma'(z_j^l)$
所以
$\delta_j^l=\sigma'(z_j^l)\sum_k\left ( \delta_k^{l+1}w_{kj}^{l+1}\right )$

方程3.3

$\begin{aligned} \frac{\partial C}{\partial b_j^l}=&\frac{\partial C}{\partial z_j^l}\frac{\partial z_j^l}{\partial b_j^l}\\=&\delta_j^l\frac{\partial z_j^l}{\partial b_j^l} \end{aligned}$
因为
$z_j^l=\sum_k\left (w_{jk}^la_k^{l-1}+b_j^l\right )$
有
$\frac{\partial z_j^l}{\partial b_j^l}=1$
所以
$\frac{\partial C}{\partial b_j^l}=\delta_j^l$

方程3.4

$\begin{aligned} \frac{\partial C}{\partial w_{jk}^l}=&\frac{\partial C}{\partial z_j^l}\frac{\partial z_j^l}{\partial w_{jk}^l}\\=&\delta_j^l\frac{\partial z_j^l}{\partial w_{jk}^l}\\=&\delta_j^l\frac{\partial (\sum_i(w_{ji}^la_i^{l-1}+b_j^l))}{\partial w_{jk}^l}\\=&\delta_j^la_k^{l-1} \end{aligned}$

今天的文章反向传播四个基本方程分享到此就结束了，感谢您的阅读。