大家好,又见面了,我是你们的朋友全栈君。
本文系转载,略有修改
原博客地址:http://blog.csdn.net/u012162613/article/details/44239919
在此,向原作者表达感谢,致敬!
1.从方差代价函数说起
代价函数经常用方差代价函数(即采用均方误差MSE),比如对于一个神经元(单输入单输出,sigmoid函数),定义其代价函数为:
其中 y 是我们期望的输出,
a
所以,有:
在训练神经网络过程中,我们通过梯度下降算法来更新 w 和
b
b
然后更新 w 、
b
w <——
w
∂C∂w
η∗(a−y)σ′(z)x
b <—— b –
η∗∂C∂b
η∗(a−y)σ′(z)
因为sigmoid函数的性质,导致 σ′(z) 在z取大部分值时会很小(如下图标出来的两端,几近于平坦),这样会使得 w 和
b
2.交叉熵代价函数(cross-entropy cost function)
为了克服这个缺点,引入了交叉熵代价函数(下面的公式对应一个神经元,多输入单输出):
其中y为期望的输出,a为神经元实际输出 a=σ(z) ,这里 z=∑Wj∗Xj+b
与方差代价函数一样,交叉熵代价函数同样有两个性质:
-
非负性。(所以我们的目标就是最小化代价函数)
-
当真实输出a与期望输出y接近的时候,代价函数接近于0.(比如y=0,a~0;y=1,a~1时,代价函数都接近0)。
另外,它可以克服方差代价函数更新权重过慢的问题。我们同样看看它的导数:
可以看到,导数中没有 σ′(z) 这一项,权重的更新是受 σ(z)−y 这一项影响,即受误差的影响。所以当误差大的时候,权重更新就快,当误差小的时候,权重的更新就慢。这是一个很好的性质。
3.总结
当我们用sigmoid函数作为神经元的激活函数时,最好使用交叉熵代价函数来替代方差代价函数,以避免训练过程太慢。
不过,你也许会问,为什么是交叉熵函数?导数中不带 σ′(z) 项的函数有无数种,怎么就想到用交叉熵函数?这自然是有来头的,更深入的讨论就不写了,少年请自行了解。
另外,交叉熵函数的形式是 −[yln(a)+(1−y)ln(1−a)] 而不是 −[alny+(1−a)ln(1−y)] ,为什么?因为当期望输出的y=0时,lny没有意义;当期望y=1时,ln(1-y)没有意义。而因为a是sigmoid函数的实际输出,永远不会等于0或1,只会无限接近于0或者1,因此不存在这个问题。
4.还要说说:log-likelihood cost
对数似然函数也常用来作为softmax回归的代价函数,在上面的讨论中,我们最后一层(也就是输出)是通过sigmoid函数,因此采用了交叉熵代价函数。而深度学习中更普遍的做法是将softmax作为最后一层,此时常用的是代价函数是log-likelihood cost。
In fact, it’s useful to think of a softmax output layer with log-likelihood cost as being quite similar to a sigmoid output layer with cross-entropy cost。
其实这两者是一致的,logistic回归用的就是sigmoid函数,softmax回归是logistic回归的多类别推广。log-likelihood代价函数在二类别时就可以化简为交叉熵代价函数的形式。
参考链接:http://deeplearning.stanford.edu/wiki/index.php/Softmax回归
发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/146096.html原文链接:https://javaforall.cn
【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛
【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...