反向传播算法(Backpropagation)—-Gradient Descent的推导过程[通俗易懂]

反向传播算法(Backpropagation)—-Gradient Descent的推导过程[通俗易懂]BP算法是适用于多层神经网络的一种算法,它是建立在梯度下降法的基础上的,本文着重推导怎样利用梯度下降法来minimiseLossFunction。

大家好,又见面了,我是你们的朋友全栈君。

BP算法是适用于多层神经网络的一种算法,它是建立在梯度下降法的基础上的。本文着重推导怎样利用梯度下降法来minimise Loss Function。

给出多层神经网络的示意图:
在这里插入图片描述

1.定义Loss Function

假设有一组数据样本 x 1 x^{1} x1 x 2 x^{2} x2,… ,每一个x都有很多个特征,输入x,会得到一个输出y,每一个输出都对应一个损失函数L,将所有L加起来就是total loss。
那么每一个L该如何定义呢?这里还是采用了交叉熵,如下所示:
在这里插入图片描述
这里的 y i y^{i} yi是真实输出, y ^ y\hat{} y^是y target,是人为定义的。最终Total Loss的表达式如下:
在这里插入图片描述

2.Gradient Descent

L对应了一个参数,即Network parameters θ(w1,w2…b1,b2…),那么Gradient Descent就是求出参数 θ ∗ \theta^{*} θ来minimise Loss Function,即:
在这里插入图片描述
梯度下降的具体步骤为:
图源:李宏毅机器学习讲稿

3.求偏微分

从上图可以看出,这里难点主要是求偏微分,由于L是所有损失之和,因此我们只需要对其中一个损失求偏微分,最后再求和即可。
先抽取一个简单的神经元来解释:在这里插入图片描述
先理一理各个变量之间的关系:我们要求的是Total Loss对参数w的偏导,而Total Loss是一个个小的l累加得到的,因此,我们只需要求得 ∂ l ∂ w \frac{\partial l}{\partial w} wl,而 l = − y ^ l n y l=-\hat{y}lny l=y^lny,其中 y ^ \hat{y} y^是人为定义的,跟w没有关系,因此我们只需要知道 ∂ y ∂ w \frac{\partial y}{\partial w} wy。l跟z有关系,根据链式求导法则,我们需要求 ∂ l ∂ z \frac{\partial l}{\partial z} zl ∂ z ∂ w \frac{\partial z}{\partial w} wz,其中 ∂ z ∂ w \frac{\partial z}{\partial w} wz的求解较为容易,如下图所示:
在这里插入图片描述
∂ l ∂ z \frac{\partial l}{\partial z} zl是一个难点,因为我们并不知道后面到底有多少层,也不知道情况到底有多复杂,我们不妨先取一种最简单的情况,如下所示:
在这里插入图片描述

4.反向传播

在第一张图里面,我们经过正向传播很容易求出了 ∂ z ∂ w \frac{\partial z}{\partial w} wz,而对于 ∂ l ∂ z \frac{\partial l}{\partial z} zl,则并不是那么好求。上图其实就是运用了反向传播的思想, 对于上图中 ∂ l ∂ z \frac{\partial l}{\partial z} zl最后的表达式,我们可以换一种结构,如下所示:
在这里插入图片描述
l对两个z的偏导我们假设是已知的,并且在这里是作为输入,三角形结构可以理解为一个乘法运算电路,其放大系数为 σ ′ ( z ) \sigma {}'(z) σ(z)。但是在实际情况中,l对两个z的偏导是未知的。假设神经网络最终的结构就是如上图所示,那么我们的问题已经解决了:
在这里插入图片描述
其中:
在这里插入图片描述
但是假如该神经元不是最后一层,我们又该如何呢?比如又多了一层,如下所示:
在这里插入图片描述
那么我们只要知道 ∂ l ∂ z a \frac{\partial l}{\partial z_{a}} zal ∂ l ∂ z b \frac{\partial l}{\partial z_{b}} zbl,我们同样可以算出 ∂ l ∂ z ′ \frac{\partial l}{\partial z{}’} zl以及 ∂ l ∂ z ′ ′ \frac{\partial l}{\partial z{}”} zl,原理跟上面类似,如下所示:
在这里插入图片描述
∂ l ∂ z b \frac{\partial l}{\partial z_{b}} zbl同样是l先对y求导,y再对 z b z_{b} zb求导。

那假设我们再加一层呢?再加两层呢?再加三层呢?。。。,情况还是一样的,还是先求l对最后一层z的导数,乘以权重相加后最后再乘上 σ ′ ( z ′ ′ , z ′ ′ ′ , . . . ) \sigma {}'(z{}”,z{}”’,…) σ(z,z,...)即可。
最后给一个实例:
在这里插入图片描述
它的反向传播图长这样:
在这里插入图片描述
我们可以很轻松的算出 ∂ l ∂ z 5 \frac{\partial l}{\partial z_{5}} z5l ∂ l ∂ z 6 \frac{\partial l}{\partial z_{6}} z6l,算出这两个之后,根据上面我们找到的关系式,我们也可以轻易算出 ∂ l ∂ z 3 \frac{\partial l}{\partial z_{3}} z3l ∂ l ∂ z 4 \frac{\partial l}{\partial z_{4}} z4l,最后再算出 ∂ l ∂ z 1 \frac{\partial l}{\partial z_{1}} z1l ∂ l ∂ z 2 \frac{\partial l}{\partial z_{2}} z2l。然后 ∂ l ∂ z 1 \frac{\partial l}{\partial z_{1}} z1l ∂ l ∂ z 2 \frac{\partial l}{\partial z_{2}} z2l再分别乘上x1和x2,就是我们最终要找的 ∂ l ∂ w 1 \frac{\partial l}{\partial w_{1}} w1l ∂ l ∂ w 2 \frac{\partial l}{\partial w_{2}} w2l
我们不难发现,这种计算方式很清楚明了地体现了“反向传播”四个字。
好了,目标达成!!
在这里插入图片描述

5.总结

通过Forward Pass我们求得 ∂ z ∂ w = a \frac{\partial z}{\partial w}=a wz=a,然后通过Backward Pass我们求得 ∂ l ∂ z \frac{\partial l}{\partial z} zl,二者相乘,就是 ∂ l ∂ w \frac{\partial l}{\partial w} wl。利用上述方法求得所有参数的值之后,我们就可以用梯度下降法来更新参数,直至找到最优解。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/132274.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • Sql实现Split

    Sql实现Split

  • RNN详解、BPTT、LSTM

    RNN详解、BPTT、LSTM本文部分参考和摘录了以下文…

  • springboot的自动配置原理/步骤

    springboot的自动配置原理/步骤1、SpringBoot启动的时候加载主配置类(@SpringBootApplication),开启了自动配置功能@EnableAutoConfiguration。 2、@EnableAutoConfiguration作用:     利用AutoConfigurationImportSelector给容器中导入一些组件;可以查看selectImports()方法的内容; …

  • drupal linux安装,在Debian 10(Buster) Linux服务器中安装drupal 8.8.0的说明

    drupal linux安装,在Debian 10(Buster) Linux服务器中安装drupal 8.8.0的说明按照本说明,你就可以成功的在Debian10(Buster)Linux服务器中安装好drupal8.8.0版本,已亲测能稳定运行。先决条件在开始安装之前,对安装的最低要求是:数据库服务器,如MySQL、MariaDB、PostgreSQL、Percona、SQLite等。Web服务器,如Nginx、Apache。PHP7.x,推荐>=7.2。至少1GB的磁盘空间。同时,要更新你的De…

  • 未分配的磁盘怎么还原回去_硬盘突然未初始化

    未分配的磁盘怎么还原回去_硬盘突然未初始化大家是否遇到过此类问题,当将外部硬盘插入计算机并找到提示该驱动器已成功安装但没有出现在“此PC”上的通知?当进入Window的磁盘管理实用程序,发现磁盘是未知的,未初始化的,未分配的,那么如何修复未初始化的磁盘?还有丢失数据之后怎么找回?”第1部分:初始化磁盘意味着什么?初始化存储设备(非常类似于格式化过程)是一种擦除驱动器上的数据并允许其在以前不使用时可以再次使用的方法。要进行初始化,可以通过将…

  • 三号伴唱※414

    三号伴唱※414这个名字还有点古怪,但是知道内幕的就不难理解了~先说三号伴唱,这个有点苦笑不得,或者叫自作自受,嗨,没办法,似乎我总是该不了这个幻想的习惯 ~所以教训是,当你没有看清face的时候,你有两个选择:1,继续保持这种朦胧美,不要有see的desire(ok,但是这一点比较难做到)2,请以一颗平常心,你看的就是你看到的,不要有任何臆想和推断,否则下一个吐血的就是你~ok,该能推断的出的就已

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号