RNN BPTT算法推导

RNN BPTT算法推导BPTT(沿时反向传播算法)基本原理与BP算法一样,包含三个步骤:前向计算每个神经元的输出值反向计算每个神经元的误差项δjδ_jδj​,它是误差函数E对神经元j的加权输入netjnet_jnetj​的偏导数计算每个权重的梯度最后再用随机梯度下降算法更新权重循环曾如图所示:1.1前向计算循环层的前向计算:隐层:st=f(Uxt+Wst−1)s_t=f(Ux_t+Ws_{t-1})…

大家好,又见面了,我是你们的朋友全栈君。

BPTT(沿时反向传播算法)基本原理与BP算法一样,包含三个步骤:

  • 前向计算每个神经元的输出值
  • 反向计算每个神经元的误差项 δ j δ_j δj,它是误差函数E对神经元j的加权输入 n e t j net_j netj的偏导数
  • 计算每个权重的梯度
  • 最后再用随机梯度下降算法更新权重
    循环曾如图所示:
    在这里插入图片描述
    1.1前向计算
    循环层的前向计算:
    隐层: s t = f ( U x t + W s t − 1 ) s_t=f(Ux_t+Ws_{t-1}) st=f(Uxt+Wst1)
    1.2误差项的计算
    BPTT算法将第l层t时刻的误差项 δ t l δ_t^l δtl值沿两个方向传播,一个方向时传递到上一层网络,得到 δ t l − 1 δ_t^{l-1} δtl1,这部分只和权重矩阵U有关;另一方向是将其沿着时间线传递到初始 t 1 t_1 t1时刻,得到 δ 1 l δ_1^l δ1l,这部分只和权重矩阵W有关。
    用向量 n e t j net_j netj表示神经元在t时刻的加权输入:
    n e t j = U x t + W s t − 1 net_j=Ux_t+Ws_{t-1} netj=Uxt+Wst1
    s t − 1 = f ( n e t t − 1 ) s_{t-1}=f(net_{t-1}) st1=f(nett1)
    因此:
    ∂ n e t t ∂ n e t t − 1 = ∂ n e t t ∂ s t − 1 ∂ s t − 1 ∂ n e t t − 1 \frac{\partial net_t}{\partial net_{t-1}}=\frac{\partial net_t}{\partial s_{t-1}}\frac{\partial s_{t-1}}{\partial net_{t-1}} nett1nett=st1nettnett1st1
    ∂ n e t t ∂ s t − 1 = W \frac{\partial net_t}{\partial s_{t-1}}=W st1nett=W
    第二项是一个jacobian矩阵
    在这里插入图片描述
    在这里插入图片描述
    最后,将两项合在一起,可得:
    ∂ n e t t ∂ n e t t − 1 = ∂ n e t t ∂ s t − 1 ∂ s t − 1 ∂ n e t t − 1 = W ∗ d i a g [ f ′ ( n e t t − 1 ) ] \frac{\partial net_t}{\partial net_{t-1}}=\frac{\partial net_t}{\partial s_{t-1}}\frac{\partial s_{t-1}}{\partial net_{t-1}}=W*diag[f^{'} (net_{t-1})] nett1nett=st1nettnett1st1=Wdiag[f(nett1)]
    上式描述了将 δ \delta δ沿时间向前传递一个时刻的规律,可以求的任意时刻k的误差项 δ k \delta_k δk:
    在这里插入图片描述
    这就是将误差项沿着时间反向传播的算法。

循环层将误差项反向传递到上一层网络,与普通的全连接层是完全一样的。
循环层的加权输入 n e t l net^l netl与上一层的加权输入 n e t l − 1 net^{l-1} netl1关系如下:
n e t t l = U a t l − 1 + W s t − 1 net^l_t=Ua^{l-1}_t+Ws_{t-1} nettl=Uatl1+Wst1
a t l − 1 = f l − 1 ( n e t t l − 1 ) a^{l-1}_t=f^{l-1}(net^{l-1}_t) atl1=fl1(nettl1)
上式中 n e t t l net^l_t nettl是第l层神经元的加权输入; n e t t l − 1 net^{l-1}_t nettl1是l-1层神经元的加权输入; a t l − 1 a^{l-1}_t atl1是第l-1层神经元的输出; f l − 1 f^{l-1} fl1是第l-1层的激活函数。
∂ n e t t l ∂ n e t t l − 1 = ∂ n e t t l ∂ a t l − 1 ∂ a t l − 1 ∂ n e t t l − 1 = U ∗ d i a g [ f ′ l − 1 ( n e t t l − 1 ) ] \frac{\partial net^l_t}{\partial net^{l-1}_t}=\frac{\partial net^l_t}{\partial a^{l-1}_t}\frac{\partial a^{l-1}_t}{\partial net^{l-1}_t}=U*diag[f^{'l-1}(net^{l-1}_t)] nettl1nettl=atl1nettlnettl1atl1=Udiag[fl1(nettl1)]
所以:
δ t l − 1 = ∂ E ∂ n e t t l − 1 = ∂ E ∂ n e t t l ∂ n e t t l ∂ n e t t l − 1 = δ t l ∗ U ∗ d i a g [ f ′ l − 1 ( n e t t l − 1 ) ] \delta^{l-1}_t=\frac{\partial E}{\partial net^{l-1}_t}=\frac{\partial E}{\partial net^l_t}\frac{\partial net^l_t}{\partial net^{l-1}_t}=\delta^l_t*U*diag[f^{'l-1}(net^{l-1}_t)] δtl1=nettl1E=nettlEnettl1nettl=δtlUdiag[fl1(nettl1)]
上式就是将误差项传递到上一层算法。
1.3权重梯度的计算
接下来是BPTT算法的最后一步:计算每个权重的梯度
首先计算误差函数E对权重矩阵W的梯度: ∂ E ∂ W \frac{\partial E}{\partial W} WE
在这里插入图片描述
上图为我们前两步计算得到的量,包括每个时刻t循环层的输出值 s t s_t st,以及误差项 δ t \delta_t δt
我们知道了任意一个时刻的误差项 δ t \delta_t δt,以及上一个时刻循环层的输出值 s t − 1 s_{t-1} st1,就可以按照下面的公式求出权重矩阵在t时刻的梯度:
在这里插入图片描述
上式中, δ i t \delta^t_i δit表示t时刻误差项向量的第i各分量,即第i层的误差项;KaTeX parse error: Double subscript at position 8: s_{t-1}_̲i表示t-1时刻循环层第i各神经元的输出值。
权重梯度推导:
在这里插入图片描述
1.4梯度爆炸与梯度消失

RNNs并不能很好地处理较长的序列。主要原因是RNN在训练中很容易发生梯度爆炸和梯度消失,导致训练时梯度不能在较长序列中一直传递下去,从而使RNN无法捕捉到长距离的影响。
三种方法应对梯度消失问题:
1)合理的初始化权重值。初始化权重,使每个神经元尽可能不要取极大或极小值,以躲开梯度消失的区域。
2)使用Relu代替sigmod和tanh作为激活函数。
3)使用其它结构的RNNs,比如长短时记忆网络(LSTM)和Gated Recurrent Unit(GRU),这是最流行的做法。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/152300.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • Tomcat日志管理(一)[通俗易懂]

    Tomcat日志管理(一)[通俗易懂]官方文档地址:http://tomcat.apache.org/tomcat-7.0-doc/logging.htmlTomcatJULITomcat的日志管理功能是借助于ApacheCommonsLogging库来实现的,该库对当今几个流行的日志框架的精简和封装,从而使得Tomcat日志管理不必依赖于某一个具体的日志框架。从Tomcat6.0开始,Tomcat内的Apache…

  • input 事件[通俗易懂]

    input 事件[通俗易懂]input事件1.onfocus当input获取到焦点时触发2.onblur当input失去焦点时触发,注意:这个事件触发的前提是已经获取了焦点再失去焦点的时候会触发相应的js3.onchange当input失去焦点并且它的value值发生变化时触发4.onkeydown在input中有键按住的时候执行一些代码5.onkeyup在input中有键抬起的时候触发的事件,…

  • Laravel 6 proc_open修复「建议收藏」

    Laravel 6 proc_open修复「建议收藏」Laravel 6 proc_open修复

  • settimeout时间误差_采集终端和电能表日计时误差

    settimeout时间误差_采集终端和电能表日计时误差setInterval指定的是“开始执行”之间的间隔,并不考虑每次任务执行本身所消耗的时间。因此实际上,两次执行之间的间隔会小于指定的时间。比如,setInterval指定每100ms执行一次,每次执行需要5ms,那么第一次执行结束后95毫秒,第二次执行就会开始。如果某次执行耗时特别长,比如需要105毫秒,那么它结束后,下一次执行就会立即开始。为了确保两次执行之间有固定的间隔,可以不用setInterval,而是每次执行结束后,使用setTimeout指定下一次执行的具体时间。

  • 免费的API接口_api平台

    免费的API接口_api平台转:https://blog.csdn.net/qq_35304570/article/details/79811226声明:整理记录,自己开发过程使用,请勿用做非法途径!参考:http://developer.51cto.com/art/201412/458778.htm豆瓣:https://api.douban.com/v2/book/search?q="百年孤独" …

  • 英语单词词性_英语单词词性总结

    英语单词词性_英语单词词性总结英语单词词性n.名词v.动词pron.代词adj.形容词adv.副词num.数词art.冠词prep.介词conj.连词interj.感叹词英语词性缩写pre

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号