归一化、标准化、正则化公式相关小记「建议收藏」

归一化、标准化、正则化公式相关小记「建议收藏」特征缩放面对特征数量较多的时候,保证这些特征具有相近的尺度(无量纲化),可以使梯度下降法更快的收敛。这两张图代表数据是否均一化的最优解寻解过程(左边是未归一化的),从这两张图可以看出,数据归一化后,最优解的寻优过程明显会变得平缓,更容易正确的收敛到最优解在前边讲梯度下降的时候咱们也提到过,一般在最优化前会加归一化操作机器学习最优化算法之梯度下降_RayChiu757374816的博客-CSDN博客原因就是这样会减少数据模型的震荡,以最快的速度达到最优化。缩放的方法…

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

作者:RayChiu_Labloy
版权声明:著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处


目录

特征缩放

归一化(Normalization):

定义:

什么叫量纲:

分类和公式:

min-max归一化(Min-Max Normalization)–区间(0,1)

平均归一化–区间(-1,1)

非线性归一化

标准化(Standardization):

中心化: 

正则化:

过拟合 

公式和原理

两个正则化损失函数等高线图

没有正则化的损失函数等高线和最优化示意图

L1正则化(Lasso回归)损失函数等高线示意图 

 L2正则化(岭回归)损失函数等高线示意图

归一化和正则化在数据、参数、和结果上的区别


特征缩放

        面对特征数量较多的时候,保证这些特征具有相近的尺度(无量纲化),可以使梯度下降法更快的收敛。这两张图代表数据是否均一化的最优解寻解过程(左边是未归一化的),从这两张图可以看出,数据归一化后,最优解的寻优过程明显会变得平缓,更容易正确的收敛到最优解

归一化、标准化、正则化公式相关小记「建议收藏」

 在前边讲梯度下降的时候咱们也提到过,一般在最优化前会加归一化操作

机器学习最优化算法之梯度下降_RayChiu757374816的博客-CSDN博客

 原因就是这样会减少数据模型的震荡,以最快的速度达到最优化。

缩放的方法就包括了各种归一化和标准化操作。

归一化(Normalization):

定义:

        就是把数据压缩映射到一定区间,例如(0,1) (-1,1) (0,255)区间,会把有量纲表达式变成无量纲表达式,便于不同单位或量级的指标能够进行比较和加权。

        这里还是强调一下归一化是针对的数据

什么叫量纲:

        就是通过一些手段将不同单位不同场景类型的数据去掉单位来表示。

分类和公式:

min-max归一化(Min-Max Normalization)–区间(0,1)

归一化、标准化、正则化公式相关小记「建议收藏」

        有人把它还称作rescaling 

适用场景:

  • 如果对输出结果范围有要求,用归一化
  • 如果数据较为稳定,不存在极端的最大最小值,用归一化

缺点:这种方法有个缺陷就是当有新数据加入时,可能导致max和min的变化,需要重新定义。

平均归一化–区间(-1,1)

 归一化、标准化、正则化公式相关小记「建议收藏」

 (注意这中间的mean(x)、min(x) 和 max(x) 分别是样本数据的平均值、最小值和最大值)

适用场景:

  • 矩阵分解

非线性归一化

        log对数函数转换y = log10(x) 、反正切函数转换x’ = atan(x)*(2/pi)、sigmoid变换、softmax变换以及L2范数归一化(见下图)

归一化、标准化、正则化公式相关小记「建议收藏」

标准化(Standardization):

最常见的标准化方法->Z-Score 标准化 

 归一化、标准化、正则化公式相关小记「建议收藏」

其中 归一化、标准化、正则化公式相关小记「建议收藏」 和 归一化、标准化、正则化公式相关小记「建议收藏」 分别是样本数据的均值(mean)和标准差(std)。  数据会变成一个均值为 0 ,方差为 1 的分布 

适用场景:

  • SVM、LR、神经网络
  • 如果数据存在异常值和较多噪音,用标准化,可以间接通过中心化避免异常值和极端值的影响

中心化: 

         也叫零均值处理,就是将每个原始数据减去这些数据的均值:

x’ = x – μ

正则化:

过拟合 

        不加正则化训练出来的模型: 

归一化、标准化、正则化公式相关小记「建议收藏」

        加了正则的模型表现 

归一化、标准化、正则化公式相关小记「建议收藏」

        可以看到训练出来的模型太复杂,会影响使用,容易过拟合。 

公式和原理

        正则化主要用于避免过拟合的产生和减少网络误差。

归一化、标准化、正则化公式相关小记「建议收藏」

        其中,第 1 项是经验风险,第 2 项是正则项, 归一化、标准化、正则化公式相关小记「建议收藏」 为调整两者之间关系的系数。常见的有正则项有 L1 正则 和 L2 正则 以及 Dropout

        L1和L2正则公式和原理详细内容请移步:我这样说范数和模你应该懂L1、L2正则咋回事了吧_RayChiu757374816的博客-CSDN博客

两个正则化损失函数等高线图

没有正则化的损失函数等高线和最优化示意图

归一化、标准化、正则化公式相关小记「建议收藏」

L1正则化(Lasso回归)损失函数等高线示意图 

 归一化、标准化、正则化公式相关小记「建议收藏」

        lasso回归最终会等到稀疏矩阵,好多参数会是0,也就是筛选了特征,把对结果贡献很低的特征给过滤掉了,最终模型只关注非零的特征。

 L2正则化(岭回归)损失函数等高线示意图

 归一化、标准化、正则化公式相关小记「建议收藏」

归一化和正则化在数据、参数、和结果上的区别

        这里谈一下和归一化的关系,我理解归一化是为了使得预处理的数据被限定在一定的范围内(比如[0,1]或者[-1,1]),从而消除奇异样本数据导致的不良影响,这样处理使得训练时减少震荡,能够更加快速的训练,然而归一化不是必须的,不归一化最多是会延长最优化的时间,而不影响训练出来的模型使用。而正则化是针对的参数、系数theta或者叫w、b,最终的目的是让参数数值相差很小,比如不正则化可能第一个参数是100,第二个是1,加正则化后可能最终的参数第一个是1.013第二个是0.892,这样泛化能力强了,会影响模型的生成和使用,也就是归一化不影响推理结果,正则会影响。

 参考:2(1).数据预处理方法 – nxf_rabbit75 – 博客园

6.3. Preprocessing data — scikit-learn 1.0 documentation

学习笔记163—理解模型正则化:L1正则、L2正则(理论+代码)-上地信息-shangdixinxi.com

【如果对您有帮助,交个朋友给个一键三连吧,您的肯定是我博客高质量维护的动力!!!】 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/184703.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • 架设游戏服务器_传奇架设外网教程

    架设游戏服务器_传奇架设外网教程1.修改游戏初始设置进入C:\mirsever\Mir200打开!setup.txt找到:TestLevel=35(大家可以改成50级\我设的35级)TestGold=200000(20W传奇币不少了吧)TestServerUserLimit=10(用户连接数,机子慢就设小点.) 2.修改GM权限进入C:\mirserver\Mi…

  • 深度强化学习之模仿学习(Imitation Learning)

    深度强化学习之模仿学习(Imitation Learning)  上一部分研究的是奖励稀疏的情况,本节的问题在于如果连奖励都没有应该怎么办,没有奖励的原因是,一方面在某些任务中很难定量的评价动作的好坏,如自动驾驶,撞死人和撞死动物的奖励肯定不同,但分别为多少却并不清楚,另一方面,手动设置的奖励可能导致不可控的行为。要解决此类问题,可以将人类专家的范例作为强化学习代理的参考去学习,因此模仿学习又叫演示学习(Learningbydemonstration)…

  • Linux通配符和正则表达式通配符 区别_linux正则表达式语法

    Linux通配符和正则表达式通配符 区别_linux正则表达式语法1、 通配符通配符是shell在做PathnameExpansion时用到的。说白了一般只用于文件名匹配,它是由shell解析的,比如find,ls,cp,mv等。 1、1Shell常见通配符:通配符含义实例*匹配0或多个字符a*ba与b之间可以有任意长度的任意字符,也可以一个也没有,如aabcb,axyzb,a012b,ab。?匹配任意一个字符a?ba与b之间必须也只能有一个…

  • 什么是跨域及怎么解决跨域问题?[通俗易懂]

    什么是跨域及怎么解决跨域问题?[通俗易懂]什么是跨域?这篇博文解释的挺清楚,我直接引用https://blog.csdn.net/lambert310/article/details/51683775跨域,指的是浏览器不能执行其他网站的脚本。它是由浏览器的同源策略造成的,是浏览器施加的安全限制。所谓同源是指,域名,协议,端口均相同,只要有一个不同,就是跨域。不明白没关系,举个栗子:http://www.123.com/i…

  • 请求头 content-type_详解中台

    请求头 content-type_详解中台敬请关注博客,后期不断更新优质博文,谢谢这里讲解Content-Type的可用值,以及在spring MVC中如何使用它们来映射请求信息。1. Content-Type MediaType,即是InternetMediaType,互联网媒体类型;也叫做MIME类型,在Http协议消息头中,使用Content-Type来表示具体请求中的媒体类型信息。 例如:Content-…

  • Oracle11g_32/64软件百度云下载以及安装教程

    Oracle11g_32/64软件百度云下载以及安装教程解压后的目录点击“软件”后的目录点击32/64位系统后的目录注:文档中有安装教程百度云下载地址链接:https://pan.baidu.com/s/1PmTfXZp-bT6poghP7bNcgA提取码:dr1x复制这段内容后打开百度网盘手机App,操作更方便哦…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号