mse函数(均方误差函数)_二次代价函数有什么用

mse函数(均方误差函数)_二次代价函数有什么用MSE均方误差(L2loss)1.代码展示MAE和MSE图片特性importtensorflowastfimportmatplotlib.pyplotaspltsess=tf.Session()x_val=tf.linspace(-1.,-1.,500)target=tf.constant(0.)#计算L2_lossl2_y_val=tf…

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

MSE均方误差(L2 loss)

1.代码展示MAE和MSE图片特性
import tensorflow as tf
import matplotlib.pyplot as plt
sess = tf.Session()
x_val = tf.linspace(-1.,-1.,500)
target = tf.constant(0.)

#计算L2_loss
l2_y_val = tf.square(target - x_val)
l2_y_out = sess.run(l2_y_val)#用这个函数打开计算图

#计算L1_loss
l1_y_val = tf.abs(target - x_val)
l1_y_out = sess.run(l1_y_val)#用这个函数打开计算图

#打开计算图输出x_val,用来画图
#用画图来体现损失函数的特点
x_array = sess.run(x_val)
plt.plot(x_array, l1_y_out, 'b--', lable = 'L1_loss')
plt.plot(x_array, l2_y_out, 'r--', lable = 'L2_loss')

这里写图片描述

2.MSE公式及导数推导

损失函数:

mse函数(均方误差函数)_二次代价函数有什么用

以单个样本举例:
[外链图片转存失败(img-PAQ9mnqd-1562394972088)(http://i.imgur.com/D4n2Dsz.jpg)] ,a=σ(z), where z=wx+b

利用SGD算法优化损失函数,通过梯度下降法改变参数从而最小化损失函数:
对两个参数权重和偏置进行求偏导(这个过程相对较容易):
这里写图片描述

参数更新:
这边就说一种简单的更新策略(随机梯度下降):
[外链图片转存失败(img-pTU7Q58r-1562394972090)(http://image107.360doc.com/DownloadImg/2017/06/1400/101675026_3)]

3.分析L2 Loss的特点

根据上面的损失函数对权重和偏置求导的公式我们发现:

这里写图片描述

其中,z表示神经元的输入,σ表示激活函数。从以上公式可以看出,w和b的梯度跟激活函数的梯度成正比,激活函数的梯度越大,w和b的大小调整得越快,训练收敛得就越快。但是L2 Loss的这个特点存在的缺陷在于,对于我们常用的sigmoid激活函数来说,并不是很符合我们的实际需求。
先介绍下sigmoid激活函数的特性:
sigmoid函数就是损失函数的输入:a=σ(z) 中的σ()的一种。这是一个激活函数,该函数的公式,导数以及导数的分布图如下图所示:
mse函数(均方误差函数)_二次代价函数有什么用
mse函数(均方误差函数)_二次代价函数有什么用
mse函数(均方误差函数)_二次代价函数有什么用
mse函数(均方误差函数)_二次代价函数有什么用

我们可以从sigmoid激活函数的导数特性图中发现,当激活值很大的时候,sigmoid的梯度(就是曲线的斜率)会比较小,权重更新的步幅会比较小,这时候网络正处在误差较大需要快速调整的阶段,而上述特性会导致网络收敛的会比较慢;而当激活值很小的时候,sigmoid的梯度会比较大,权重更新的步幅也会比较大,这时候网络的预测值正好在真实值的边缘,太大的步幅也会导致网络的震荡。这我们的期望不符,即:不能像人一样,错误越大,改正的幅度越大,从而学习得越快。而错误越小,改正的幅度小一点,从而稳定的越快。而交叉熵损失函数正好可以解决这个问题。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/187690.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • java单例模式 三种_三种java单例模式概述

    java单例模式 三种_三种java单例模式概述在java语言的应用程序中,一个类Class只有一个实例存在,这是由java单例模式实现的。Java单例模式是一种常用的软件设计模式,java单例模式分三种:懒汉式单例、饿汉式单例、登记式单例三种。下面就来介绍一下这三种java单例模式的相关内容。java单例模式是一种常见的设计模式,在它的核心结构中只包含一个被称为单例的特殊类。通过单例模式可以保证系统中,应用该模式的类一个类只有一个实例,这也是…

  • Android应用程序注冊广播接收器(registerReceiver)的过程分析

    Android应用程序注冊广播接收器(registerReceiver)的过程分析

    2021年12月14日
  • 移位寄存器专题(verilog HDL设计)

    移位寄存器专题(verilog HDL设计)目录移位寄存器简介分类4位右移位寄存器工作原理1、16位右移位寄存器2、16位左移寄存器3、串行输入并行输出寄存器4、并行输入串行输出移位寄存器移位寄存器简介移位寄存器内的数据可以在移位脉冲(时钟信号)的作用下依次左移或右移。移位寄存器不仅可以存储数据,还可以用来实现数据的串并转换、分频,构成序列码发生器、序列码检测器,进行数值运算以及数据处理等,它也…

  • 吐槽下安卓手机_吐槽手机像素不好的说说

    吐槽下安卓手机_吐槽手机像素不好的说说吐槽下安卓手机安卓手机的问题:1、安卓的机子运行时间长了,都需要折腾的,这就跟电脑一样,3-6个月恢复一次系统才快。很少有安卓系统不预装自己的软件的。2、安卓手机为了炒作,很多配备多核CPU,导致发热量很大,掉电很快,手机发烫厉害影响手感。3、曲面屏,这是营销炒作出来的卖点,曲面屏由于外框没有保护,很容易摔碎,而且也有误触的问题。4、有些手机采用了窄边框,而误触处理没有做好,导致用户体验极差,这不…

  • 基于STM32的嵌入式语音识别模块设计实现「建议收藏」

    基于STM32的嵌入式语音识别模块设计实现「建议收藏」介绍了一种以ARM为核心的嵌入式语音识别模块的设计与实现。模块的核心处理单元选用ST公司的基于ARMCortex-M3内核的32位处理器STM32F103C8T6。本模块以对话管理单元为中心,通过以LD3320芯片为核心的硬件单元实现语音识别功能,采用嵌入式操作系统μC/OS-II来实现统一的任务调度和外围设备管理。经过大量的实验数据验证,本文设计的语音识别模块具有高实时性、高识别率、高稳定性的…

  • Db4o数据库:细说查询[通俗易懂]

    Db4o数据库:细说查询[通俗易懂]通过第一篇的介绍,相信大家也对Db4o有一定的了解,接下来就详细说一下有关查询的话题。Db4o原生支持3中查询模式:Query-By-Example:简称QBE,根据模板类进行匹配查询,这是最简单的一种模式NativeQuery:简称NQ,Db4o推荐的查询模式TheSODAAPI:这是Db4o底层查询API,官网文档解释,此API提供向后的兼容性,适用于动态

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号