BPTT-应用于简单的循环神经网络「建议收藏」

大家好，又见面了，我是你们的朋友全栈君。

上面是一组序列变量，即四个变量 $z_1, z_2, z_3, z_4$ 中的任一 $z_i$ 的值均依赖于它前面的变量 $z_1, z_2, .., z_{i-1}$，且有
$z_2=2 * z_1$

$z_3=3*z_2 + z_1$

$z_4=4*z_3 + 2*z_2 + z_1$

$E=4*z_4 + 2*z_2$

现在我们定义：

$\frac{\partial E}{\partial z_i}$: 目标函数$E$对变量$z_i$的偏微分,
$\frac{\partial^ +E}{d z_i}$: 目标函数$E$对变量$z_i$的全微分。比如，

$\frac{\partial^+ E}{\partial z_4}=\frac{\partial E}{\partial z_4}=4$

$\frac{\partial^+ E}{\partial z_3}=\frac{\partial E}{\partial z_3}+\frac{\partial^+ E}{\partial z_4}\cdot \frac{\partial z_4}{\partial z_3}=16$

$\frac{\partial^+ E}{\partial z_2}=\frac{\partial E}{\partial z_2}+\frac{\partial^+ E}{\partial z_4}\cdot \frac{\partial z_4}{\partial z_2} +\frac{\partial^+ E}{\partial z_3}\cdot \frac{\partial z_3}{\partial z_2}=58$

$\frac{\partial^+ E}{\partial z_1}=\frac{\partial E}{\partial z_1}+\frac{\partial^+ E}{\partial z_4}\cdot \frac{\partial z_4}{\partial z_1} +\frac{\partial^+ E}{\partial z_3}\cdot \frac{\partial z_3}{\partial z_1}+ \frac{\partial^+ E}{\partial z_2}\cdot \frac{\partial z_2}{\partial z_1}=136$

综上，我们有如下的链式法则[1]

$$\frac{\partial^+ E}{\partial z_i}=\frac{\partial E}{\partial z_i}+\sum_{j>i}^{T} \frac{\partial^+ E}{\partial z_j}\cdot \frac{\partial z_j}{\partial z_i} \qquad Eq. 1$$

traditional recurrent neural network

下图是一个基础的循环神经网络示意图

Fig. 1: 循环神经网络示意图

其中x_t, h_t, y_t 分别代表 t 时刻网络的输入向量，隐藏层向量， 输出向量， w_ih, w_ho均为 权重矩阵，具体的计算公式如下：

$x_{ct}=[x_t, h_{t-1}]$

$h_t=\phi (z^h_t)=tanh (w_{ih} \odot x_{ct} + b_{ih})$

$y_t=\sigma(z^o_t)=softmax(w_{ho} \odot h_t + b_{ho})$

成本函数采用信息熵形式

$$C=\sum_{t=1}^{T}\sum_{k} (1-\hat{y}(t)_{k})*log(y(t)_{k})=\sum_{t=1}^{T} c(y_t)$$


k表示输出层节点个数，

y^
$\hat{y}$ 表示真实的目标输出。

我们的目标是计算

$$\frac{\partial^+ C}{\partial w_{ih}}$$

和

$$\frac{\partial^+ C}{\partial w_{ho}}$$

即在给定

x1,x2,...xT
$x_1, x_2, ... x_T$ 作为输入序列，

y^1,y^2,...,y^T
$\hat{y}_1, \hat{y}_2, ..., \hat{y}_T$ 作为目标输出序列的前提下，计算成本函数

C
$C$ 对权重矩阵



wih,who

$w_{ih}, w_{ho}$ 的全微分 （这里我们暂时忽略

bih,bho
$b_{ih}, b_{ho}$）。为此，我们先计算

∂+C∂zht
$\frac{\partial^+ C}{\partial z^{h}_{t}}$ 和

∂+C∂zot
$\frac{\partial^+ C}{\partial z^o_{t}}$, 其中

zht
$z^h_t$ 和

zot
$z^o_t$ 分别是图中绿色模块和黄色模块的输入。

根据 Fig. 1， 我们看出绿色模块之间有如下的依赖关系

那么$z^h_i$ 仅仅依赖于 $z^h_{i-1}$，根据链式方程 Eq. 1：

$$\begin{align}\frac{\partial^+ C}{\partial z^h_{t}} &=\frac{\partial C}{\partial z^h_{t}} + \sum_{t'>t}^{T} \frac{\partial^+ C}{\partial z^h_{t'}} \cdot \frac{\partial z^h_{t'}}{\partial z^h_t} \\&=\frac{\partial C}{\partial z^h_{t}} + \frac{\partial^+ C}{\partial z^h_{t+1}} \cdot \frac{\partial z^h_{t+1}}{\partial z^h_t}\end{align}$$

并且，

$$\frac{\partial^+ C}{\partial z^h_{T}}=\frac{\partial C}{\partial z^h_{T}}=\frac{\partial C}{\partial z^o_{T}} \odot w_{ho} \cdot \dot{\phi}(z^h_T)$$

因为 Fig. 1 中黄色模块之间的相互依赖关系是通过绿色模块产生的，它们之间并没有直接的依赖关系，所以有

$$\begin{align}\frac{\partial^+ C}{\partial z^o_{t}}=& \frac{\partial C}{\partial z^o_{t}} \\ \\=& \dot{c}(y_t) \dot{\sigma}(z^o_t) \end{align}$$

由上面的三个公式，可进而依次求出

t=T−1,T−2,...,2,1
$t=T-1, T-2, ..., 2, 1$ 时刻时的

∂+C∂zht
$\frac{\partial^+ C}{\partial z^h_{t}}$ 值。

最终有：

$$\frac{\partial^+ C}{\partial w_{ho}}=\sum^T_{t=1}\frac{\partial^+ C}{\partial z^o_t} \frac{\partial z^o_t}{\partial w_{ho}}=\sum^T_{t=1}\frac{\partial^+ C}{\partial z^o_t} \odot h_t$$

$$\frac{\partial^+ C}{\partial w_{ih}}=\sum^T_{t=1}\frac{\partial^+ C}{\partial z^h_t} \frac{\partial z^h_t}{\partial w_{ih}}=\sum^T_{t=1}\frac{\partial^+ C}{\partial z^h_t} \odot x_{ct}$$

[1] Backpropagation through time: what it does and how to do it
(web)