归一化、标准化、正则化公式相关小记「建议收藏」

归一化、标准化、正则化公式相关小记「建议收藏」特征缩放面对特征数量较多的时候,保证这些特征具有相近的尺度(无量纲化),可以使梯度下降法更快的收敛。这两张图代表数据是否均一化的最优解寻解过程(左边是未归一化的),从这两张图可以看出,数据归一化后,最优解的寻优过程明显会变得平缓,更容易正确的收敛到最优解在前边讲梯度下降的时候咱们也提到过,一般在最优化前会加归一化操作机器学习最优化算法之梯度下降_RayChiu757374816的博客-CSDN博客原因就是这样会减少数据模型的震荡,以最快的速度达到最优化。缩放的方法…

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

作者:RayChiu_Labloy
版权声明:著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处


目录

特征缩放

归一化(Normalization):

定义:

什么叫量纲:

分类和公式:

min-max归一化(Min-Max Normalization)–区间(0,1)

平均归一化–区间(-1,1)

非线性归一化

标准化(Standardization):

中心化: 

正则化:

过拟合 

公式和原理

两个正则化损失函数等高线图

没有正则化的损失函数等高线和最优化示意图

L1正则化(Lasso回归)损失函数等高线示意图 

 L2正则化(岭回归)损失函数等高线示意图

归一化和正则化在数据、参数、和结果上的区别


特征缩放

        面对特征数量较多的时候,保证这些特征具有相近的尺度(无量纲化),可以使梯度下降法更快的收敛。这两张图代表数据是否均一化的最优解寻解过程(左边是未归一化的),从这两张图可以看出,数据归一化后,最优解的寻优过程明显会变得平缓,更容易正确的收敛到最优解

归一化、标准化、正则化公式相关小记「建议收藏」

 在前边讲梯度下降的时候咱们也提到过,一般在最优化前会加归一化操作

机器学习最优化算法之梯度下降_RayChiu757374816的博客-CSDN博客

 原因就是这样会减少数据模型的震荡,以最快的速度达到最优化。

缩放的方法就包括了各种归一化和标准化操作。

归一化(Normalization):

定义:

        就是把数据压缩映射到一定区间,例如(0,1) (-1,1) (0,255)区间,会把有量纲表达式变成无量纲表达式,便于不同单位或量级的指标能够进行比较和加权。

        这里还是强调一下归一化是针对的数据

什么叫量纲:

        就是通过一些手段将不同单位不同场景类型的数据去掉单位来表示。

分类和公式:

min-max归一化(Min-Max Normalization)–区间(0,1)

归一化、标准化、正则化公式相关小记「建议收藏」

        有人把它还称作rescaling 

适用场景:

  • 如果对输出结果范围有要求,用归一化
  • 如果数据较为稳定,不存在极端的最大最小值,用归一化

缺点:这种方法有个缺陷就是当有新数据加入时,可能导致max和min的变化,需要重新定义。

平均归一化–区间(-1,1)

 归一化、标准化、正则化公式相关小记「建议收藏」

 (注意这中间的mean(x)、min(x) 和 max(x) 分别是样本数据的平均值、最小值和最大值)

适用场景:

  • 矩阵分解

非线性归一化

        log对数函数转换y = log10(x) 、反正切函数转换x’ = atan(x)*(2/pi)、sigmoid变换、softmax变换以及L2范数归一化(见下图)

归一化、标准化、正则化公式相关小记「建议收藏」

标准化(Standardization):

最常见的标准化方法->Z-Score 标准化 

 归一化、标准化、正则化公式相关小记「建议收藏」

其中 归一化、标准化、正则化公式相关小记「建议收藏」 和 归一化、标准化、正则化公式相关小记「建议收藏」 分别是样本数据的均值(mean)和标准差(std)。  数据会变成一个均值为 0 ,方差为 1 的分布 

适用场景:

  • SVM、LR、神经网络
  • 如果数据存在异常值和较多噪音,用标准化,可以间接通过中心化避免异常值和极端值的影响

中心化: 

         也叫零均值处理,就是将每个原始数据减去这些数据的均值:

x’ = x – μ

正则化:

过拟合 

        不加正则化训练出来的模型: 

归一化、标准化、正则化公式相关小记「建议收藏」

        加了正则的模型表现 

归一化、标准化、正则化公式相关小记「建议收藏」

        可以看到训练出来的模型太复杂,会影响使用,容易过拟合。 

公式和原理

        正则化主要用于避免过拟合的产生和减少网络误差。

归一化、标准化、正则化公式相关小记「建议收藏」

        其中,第 1 项是经验风险,第 2 项是正则项, 归一化、标准化、正则化公式相关小记「建议收藏」 为调整两者之间关系的系数。常见的有正则项有 L1 正则 和 L2 正则 以及 Dropout

        L1和L2正则公式和原理详细内容请移步:我这样说范数和模你应该懂L1、L2正则咋回事了吧_RayChiu757374816的博客-CSDN博客

两个正则化损失函数等高线图

没有正则化的损失函数等高线和最优化示意图

归一化、标准化、正则化公式相关小记「建议收藏」

L1正则化(Lasso回归)损失函数等高线示意图 

 归一化、标准化、正则化公式相关小记「建议收藏」

        lasso回归最终会等到稀疏矩阵,好多参数会是0,也就是筛选了特征,把对结果贡献很低的特征给过滤掉了,最终模型只关注非零的特征。

 L2正则化(岭回归)损失函数等高线示意图

 归一化、标准化、正则化公式相关小记「建议收藏」

归一化和正则化在数据、参数、和结果上的区别

        这里谈一下和归一化的关系,我理解归一化是为了使得预处理的数据被限定在一定的范围内(比如[0,1]或者[-1,1]),从而消除奇异样本数据导致的不良影响,这样处理使得训练时减少震荡,能够更加快速的训练,然而归一化不是必须的,不归一化最多是会延长最优化的时间,而不影响训练出来的模型使用。而正则化是针对的参数、系数theta或者叫w、b,最终的目的是让参数数值相差很小,比如不正则化可能第一个参数是100,第二个是1,加正则化后可能最终的参数第一个是1.013第二个是0.892,这样泛化能力强了,会影响模型的生成和使用,也就是归一化不影响推理结果,正则会影响。

 参考:2(1).数据预处理方法 – nxf_rabbit75 – 博客园

6.3. Preprocessing data — scikit-learn 1.0 documentation

学习笔记163—理解模型正则化:L1正则、L2正则(理论+代码)-上地信息-shangdixinxi.com

【如果对您有帮助,交个朋友给个一键三连吧,您的肯定是我博客高质量维护的动力!!!】 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/184703.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • 图形验证码安全

    图形验证码安全目录图形验证码图形验证码的作用和原理图形验证码的分类图形验证码的验证过程图形验证码的安全问题静态图形验证码的激活成功教程利用Python脚本激活成功教程静态图形验证码图形验证码我们经常在登录app或者网页的时候,都会需要我们输入图形验证码上的内容,以验证登录。有些是纯数字的图形验证码,有些是字母和数字,有些是图案,有些是数学表达式……不同的网站,采用的图形验证码的形式也…

  • ubuntu安装wget命令_linux bash命令

    ubuntu安装wget命令_linux bash命令我们先安装linux系统比如centos7.1里面有的就没有wget下载工具。wget这个命令就不可以使用。我们使用yum-yinstallwgetyuminstallperl会出现:[root@localhost~]#yum-yinstallwgetLoadedplugins:fastestmirrorRepodataisoverweeksold.Instal…

    2022年10月16日
  • 海思Hi3798处理器参数,Hi3798芯片详细信息介绍

    海思Hi3798处理器参数,Hi3798芯片详细信息介绍Hi3798CV200集成4核64位高性能CortexA53处理器、内置NEON加速引擎,强大的CPU处理能力可以满足各种差异化的业务需求。在码流兼容性、在线视频播放的流畅性、图像质量以及整机性能方面保持业界最好的用户体验。支持4K2KP60@10bit超高清视频解码和显示,支持H.265/HEVC、H.264/AVC、AVS+、MVC、MPEG2、MPEG4、VC-1、VP6、VP…

  • LeetCode解题汇总目录

    此篇为学习完《数据结构与算法之美》后,在LeetCode刷题的汇总目录,方便大家查找(Ctrl+Find),一起刷题,一起PK交流!另有解题:《剑指Offer》、《程序员面试金典》、LintCode代码能力测试CAT。如果本文对你有帮助,可以给我点赞加油!通过2021,简单618/636,中等1120/1266,困难283/488

  • a卡eth挖矿教程_a卡挖eth用什么内核

    a卡eth挖矿教程_a卡挖eth用什么内核  对于ETH挖矿来说,A卡无疑是最合适的选择,性价比高。如果你只想挖ETH,那选择A卡无疑是最明智的。但是,在使用A卡挖矿的过程中,往往会出现很多难以解决的问题,影响挖矿的效率。其中很大一部分原因是由于A卡本身的特性导致的。很多人在使用A卡挖ETH的过程中会出现这样一种情况:开始一段时间还是正常的运行,但是运行一段时间后就开始报错,导致无法正常挖矿。这是由于A卡具有自动更新的特性。所以在使用A卡…

    2022年10月16日
  • Java判断关系运算

    Java判断关系运算

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号