损失函数 mse_二分类损失函数

损失函数 mse_二分类损失函数损失函数文章目录损失函数含义:标准:常用的两种损失函数均方误差损失函数(MSE)【MeanSquareErrorLoss】交叉熵损失函数(CS)【CrossEntropyLoss】均方误差损失函数计算公式含义解释代码实现适用范围交叉熵损失函数计算公式含义解释代码实现适用范围含义:用于衡量在训练集上模型的输出与真实输出的差异标准:损失函数越小,模型输出与真实输出越相似,模型效果越好常用的两种损失函数均方误差损失函数(MSE)【MeanSquareErrorLoss】交叉

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE使用 1年只要46元 售后保障 童叟无欺

损失函数

含义:

用于衡量在训练集上模型的输出与真实输出的差异

标准:

损失函数越小,模型输出与真实输出越相似,模型效果越好

常用的两种损失函数

  1. 均方误差损失函数(MSE)【Mean Square Error Loss】

  2. 交叉熵损失函数(CS)【Cross Entropy Loss】

均方误差损失函数

计算公式

M S E = 1 m ∑ i = 1 m ( y ^ ( i ) − y ( i ) ) 2 MSE=\frac{1}{m}\sum^m_{i=1}(\hat y^{(i)}-y^{(i)})^2 MSE=m1i=1m(y^(i)y(i))2

含义解释

符号 含义
m 样本数量
y ^ ( i ) \hat y^{(i)} y^(i) 第i个样本的模型预测输出的结果
y ( i ) y^{(i)} y(i) 第i个样本的真实输出的结果

代码实现

''' MSE Loss '''
import torch 
import torch.nn as nn

torch.manual_seed(1)

# create data
x = torch.linspace(0,10,10).reshape(2,5)
w = torch.randn((5,2))
bias = torch.randn((2,1))*0.1
y = x@w
y_ = y+bias
print(y) 
print(y_)

# calulate the MSE loss between y and y_
MESLoss = torch.tensor([(y1-y2)**2 for y1,y2 in zip(y_.flatten(),y.flatten())]).mean()
print(MESLoss)

# MSELoss func
MSELoss_func = nn.MSELoss()
print(MSELoss_func(y_,y))

在这里插入图片描述

适用范围

  • 回归问题,如线性回归

  • 使用均方误差处理分类问题,公式
    M S E c l a s s i f i c a t i o n = 1 m ∑ i = 1 m ∑ j = 1 c ( y ^ j ( i ) − y j ( i ) ) 2 MSE_{classification}=\frac{1}{m}\sum^m_{i=1}\sum^c_{j=1}(\hat y^{(i)}_{j}-y^{(i)}_{j})^2 MSEclassification=m1i=1mj=1c(y^j(i)yj(i))2

    符号 含义
    m 样本数量
    y ^ j ( i ) \hat y^{(i)}_{j} y^j(i) 第i个样本的第j类上的模型预测输出的结果
    y j ( i ) y^{(i)}_{j} yj(i) 第i个样本的第j类上的真实输出的结果

交叉熵损失函数

计算公式

C E = − 1 m ∑ i = 1 m ∑ j = 1 c y j ( i ) l o g ( y ^ j ( i ) ) CE=-\frac{1}{m}\sum^m_{i=1}\sum^c_{j=1}y^{(i)}_{j}log(\hat y^{(i)}_{j}) CE=m1i=1mj=1cyj(i)log(y^j(i))

含义解释

符号 含义
m 样本数量
y ^ j ( i ) \hat y^{(i)}_{j} y^j(i) 模型对第i个样本属于第j类上的预测结果
y j ( i ) y^{(i)}_{j} yj(i) 第i个样本的第j类上的真实输出的结果,正确类别输出为1,其他输出0

交叉熵损失取决于模型对正确类别预测概率的对数值。

代码实现

''' CE Loss '''
import torch

def CrossEntropyLoss(input, target):
    res = -input.gather(dim=1, index=target.view(-1, 1))
    print(res.shape)
    res += torch.log(torch.exp(input).sum(dim=1).view(-1, 1))
    print(res.shape)
    res = res.mean()
    print(res.shape)
    return res

input = torch.tensor([
    [1, 2, 3],
    [4, 5, 6]
], dtype=torch.float32)

target = torch.tensor(
    [0, 1],
)

print(torch.nn.CrossEntropyLoss()(input, target))
print(CrossEntropyLoss(input, target))

损失函数 mse_二分类损失函数

适用范围

  • 分类问题,又叫负对数似然损失
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/192846.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • 浅谈大数据建模「建议收藏」

    浅谈大数据建模「建议收藏」前言:建模的过程和方法,不断地被开发和完善,你可能会说不同的数据类型,不同的业务场景,不同的需求,都会有不同的建模方法,我很赞同。但是我想说,不管你的数据是什么,要在大数据中建立自己的数据模型这其中的套路还是有规律可寻的。一.数据准备二.执行探索性数据分析三.建立初始模型四.模型迭代构建数据准备:在大数据计算中从来不嫌数据太多,相反的数据越多越好。只要数

  • poj 2689 巧妙地运用素数筛选

    poj 2689 巧妙地运用素数筛选

  • Problem 2169 shadow

    Problem 2169 shadow

  • 一致性哈希算法及其实现

    一致性哈希算法及其实现一致性哈希算法及其实现(ConsistentHashing)一,一致性哈希算法的原理1,一致性哈希算法诞生的背景   技术和业务是相互推动,共同前进的。一致性哈希算法的产生也源于业务的需求。随着业务的增长,一台单机已经不能满足业务的需要,分布式架构应运而生。分布式环境下,多台机器需要协同作业,如果保证数据在分布式环境下的一致性,就成为了亟待解决的问题。一致性哈希算法,就是为了解决多台…

  • pytest parametrize fixture_pytest参数化可变参数

    pytest parametrize fixture_pytest参数化可变参数前言当某个接口中的一个字段,里面规定的范围为1-5,你5个数字都要单独写一条测试用例,就太麻烦了,这个时候可以使用pytest.mark.parametrize装饰器可以实现测试用例参数化。官方示

  • 红旗Red Flag Linux 安装图解「建议收藏」

    红旗Red Flag Linux 安装图解「建议收藏」红旗RedFlagLinux安装图解http://hi.baidu.com/akkelv/blog/item/44192833618ef0ff1b4cff2f.html

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号