机器学习:代价函数cost function

机器学习:代价函数cost function本文系转载,咯有修改原博客地址:http://blog.csdn.net/u012162613/article/details/44239919在此,向原作者表达感谢,致敬!1.从方差代价函数说起代价函数经常用方差代价函数(即采用均方误差MSE),比如对于一个神经元(单输入单输出,sigmoid函数),定义其代价函数为:C=(y−a)22C=\frac{(y-a)^2}{2}其中yy是我们期望

大家好,又见面了,我是你们的朋友全栈君。

本文系转载,略有修改

原博客地址:http://blog.csdn.net/u012162613/article/details/44239919

在此,向原作者表达感谢,致敬!

1.从方差代价函数说起

代价函数经常用方差代价函数(即采用均方误差MSE),比如对于一个神经元(单输入单输出,sigmoid函数),定义其代价函数为:

C=(ya)22

其中 y 是我们期望的输出,

a
为神经元的实际输出 a=σ(z) ,这里 z=wx+b

所以,有:

C=(yσ(wx+b))22

在训练神经网络过程中,我们通过梯度下降算法来更新 w

b
,因此需要计算代价函数对 w

b
的导数:

Cw=(ay)σ(z)x

Cb=(ay)σ(z)

然后更新 w

b

w <——

w
η *

Cw
= w

η(ay)σ(z)x

b <—— b

ηCb
= b

η(ay)σ(z)

因为sigmoid函数的性质,导致 σ(z) 在z取大部分值时会很小(如下图标出来的两端,几近于平坦),这样会使得 w

b
更新非常慢(因为 ηaσ(z) 这一项接近于0)。

sigmoid 函数

2.交叉熵代价函数(cross-entropy cost function)

为了克服这个缺点,引入了交叉熵代价函数(下面的公式对应一个神经元,多输入单输出):

C=1nx[yln(a)+(1y)ln(1a)]

其中y为期望的输出,a为神经元实际输出 a=σ(z) ,这里 z=WjXj+b

与方差代价函数一样,交叉熵代价函数同样有两个性质:

  • 非负性。(所以我们的目标就是最小化代价函数)

  • 当真实输出a与期望输出y接近的时候,代价函数接近于0.(比如y=0,a~0;y=1,a~1时,代价函数都接近0)。

另外,它可以克服方差代价函数更新权重过慢的问题。我们同样看看它的导数:

Cwj=1nxxj(σ(z)y)

Cb=1nx(σ(z)y)

可以看到,导数中没有 σ(z) 这一项,权重的更新是受 σ(z)y 这一项影响,即受误差的影响。所以当误差大的时候,权重更新就快,当误差小的时候,权重的更新就慢。这是一个很好的性质。

3.总结

当我们用sigmoid函数作为神经元的激活函数时,最好使用交叉熵代价函数来替代方差代价函数,以避免训练过程太慢。

不过,你也许会问,为什么是交叉熵函数?导数中不带 σ(z) 项的函数有无数种,怎么就想到用交叉熵函数?这自然是有来头的,更深入的讨论就不写了,少年请自行了解。

另外,交叉熵函数的形式是 [yln(a)+(1y)ln(1a)] 而不是 [alny+(1a)ln(1y)] ,为什么?因为当期望输出的y=0时,lny没有意义;当期望y=1时,ln(1-y)没有意义。而因为a是sigmoid函数的实际输出,永远不会等于0或1,只会无限接近于0或者1,因此不存在这个问题。

4.还要说说:log-likelihood cost

对数似然函数也常用来作为softmax回归的代价函数,在上面的讨论中,我们最后一层(也就是输出)是通过sigmoid函数,因此采用了交叉熵代价函数。而深度学习中更普遍的做法是将softmax作为最后一层,此时常用的是代价函数是log-likelihood cost。

In fact, it’s useful to think of a softmax output layer with log-likelihood cost as being quite similar to a sigmoid output layer with cross-entropy cost。
其实这两者是一致的,logistic回归用的就是sigmoid函数,softmax回归是logistic回归的多类别推广。log-likelihood代价函数在二类别时就可以化简为交叉熵代价函数的形式。

参考链接:http://deeplearning.stanford.edu/wiki/index.php/Softmax回归

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/146096.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • 盘点多款国产Linux桌面操作系统[通俗易懂]

    盘点多款国产Linux桌面操作系统[通俗易懂]关注、星标公众号,不错过精彩内容编辑:strongerHuang微信公众号:strongerHuang素材来源:百度百科、网络国产操作系统多为以Linux为基础二次开发的操作系统。2014年4月8日起,美国微软公司停止了对WindowsXPSP3操作系统提供服务支持,这引起了社会和广大用户的广泛关注和对信息安全的担忧。工信部对此表示…

  • strlen函数用法举例(strlen字符串)

    strlen(char*)函数求的是字符串的实际长度,它求得方法是从开始到遇到第一个’\0’,如果你只定义没有给它赋初值,这个结果是不定的,它会从aa首地址一直找下去,直到遇到’\0’停止。charaa[10];cout<charaa[10]={‘\0’};cout<charaa[10]=”jun”;cout<而sizeof()返回的是变量声明后所占的内存数,不是实际长…

  • 关于insertBefore是怎么使用的

    关于insertBefore是怎么使用的insertBefore接收两个参数第一个参数是将要进行插前操作的对象第二个参数是被插前的对象也可以称为参考对象调用者为你要操作的元素的父级如下例:<!DOCTYPE ht

  • Hive学习3:Hive三种建表语句详解

    Hive学习3:Hive三种建表语句详解Hive学习3:Hive三种建表语句详解

  • git基本用法命令大全

    git基本用法命令大全1.新建本地git仓库,并将本地库关联远程仓库GitHub1.1. git拉取远程分支并创建本地分支1.1.1查看远程分支    gitbranch-r 查看所有远程分支:1.1.2拉取远程分支并创建本地分支        方法一    gitcheckout-b本地分支名origin/远程分支名 使用该方式会在本地新建分支,并自动切换到该本地分支。        方式二    g…

  • 904. 虫洞_虫洞引擎

    904. 虫洞_虫洞引擎Acwing904.虫洞

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号