L1正则化的理解(l1和l2正则化代表什么意思)

在论文中看到L1正则化,可以实现降维,加大稀疏程度,菜鸟不太懂来直观理解学习一下。在工程优化中也学习过惩罚函数这部分的内容,具体给忘记了。而正则化正是在损失函数后面加一个额外的惩罚项,一般就是L1正则化和L2正则化。之所以叫惩罚项就是为了对损失函数(也就是工程优化里面的目标函数)的某个或些参数进行限制,从而减少计算量。L1正则化的损失函数是是不光滑的,L2正则化的损失函数…

大家好,又见面了,我是你们的朋友全栈君。

在论文中看到L1正则化,可以实现降维,加大稀疏程度,菜鸟不太懂来直观理解学习一下。
在工程优化中也学习过惩罚函数这部分的内容,具体给忘记了。而正则化正是在损失函数后面加一个额外的惩罚项,一般就是L1正则化和L2正则化。之所以叫惩罚项就是为了对损失函数(也就是工程优化里面的目标函数)的某个或些参数进行限制,从而减少计算量。
在这里插入图片描述
L1正则化的损失函数是F(x)=f(x)+\lambda\left | x \right |_1是不光滑的,
L2正则化的损失函数F(x)=f(x)+\lambda\left | x \right |_2^2是光滑的。
从下图理解更加直观:
在这里插入图片描述
左图为L1正则化,若考虑二维的情况,即只有两个权值   w 1 , w 2   \ w^1,w^2\,  w1,w2,令L1正则化的修正项为L =   ∣ w 1 ∣ + ∣ w 2 ∣   \ |w^1|+|w^2|\,  w1+w2的约束条件下(图中的黑色框)求原损失函数的最小值(图中的等值线),可以看出,当等值线与L图形首次相交的地方就是最优解,上图中在上方顶点处相交,这个顶点就是最优解,这其中可以看出   w 1   \ w^1\,  w1 = 0,从而就达到了减少参数产生稀疏模型,进而可以用于特征选择。
同理右图为L2正则化的过程,可以想到L2正则化中磨去了棱角,例如在图中相交的那一点,此时两个参数都不为零,所以L2正则化不具有稀疏性。

参考:
https://blog.csdn.net/jinping_shi/article/details/52433975
https://blog.csdn.net/qq_32742009/article/details/81629210

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/128144.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • RX 和 TX_RX和OTC

    RX 和 TX_RX和OTC我们在ifconfig查看网卡配置时或者嵌入式开发的时候,经常会看到rx/tx缩写,其含义如下:RX==receive,接收,从开启到现在接收封包的情况,是下行流量。TX==Transmit,发

  • 我的第一款app

    上周末,也就是儿童节期间,窝在宿舍里敲了两天的代码,终于算是弄好了这个小游戏,虽然很简陋,被评为”看起来只需要一百行代码吧”,但确实消耗了我不少精力,成功消灭最后一个bug的时候,那种心情是无法言语的,兴奋激动.真的很高兴.地址贴上来,感兴趣的下了玩玩吧. 沙皮龙工作室 欢迎志同道合的孩子加入.虽然现在只我一人.我的第一款app地址最近几天考试继踵而至,数据结构,英语六级,还有通信原理

  • Notepad++ 下载

    Notepad++ 下载DownloadNotepad++,Notepad++,Notepad下载,最新官方正式版Notepad++,remplacantdeNotepad++,Notepad2,netpad,opensource,webeditor,htmleditor,xmleditor,phpeditor,aspeditor,javascripteditor,javaeditor,c++editor,c#editor

  • Spring Boot集成AD域实现统一用户认证

    1.引言由于近期需要开发基于JWTToken的统一身份认证服务项目,因此需要集成公司原有的AD域实现用户的身份认证问题,项目采用SpringBoot框架进行开发,在此将相应的集成开发步骤进行记录。1.1LDAP简介目录是一个为查询、浏览和搜索而优化的专业分布式数据库,它呈树状结构组织数据,就好象Linux/Unix系统中的文件目录一样。目录数据库和关系数据库不同,它有…

  • 震荡波病毒原代码(勒索病毒源代码)

    #include#include#include#include#include#defineNORM”/033[00;00m”#defineGREEN”/033[01;32m”#defineYELL”/033[01;33m”#defineRED”/033[01;31m”#defineBANNERGREEN”[%%]”YELL”mandrag

  • java inputstream读取文件_java如何获取输入的数据

    java inputstream读取文件_java如何获取输入的数据InputStream读取流有三个方法,分别为read(),read(byte[] b),read(byte[] b,int off,int len)。其中read()方法是一次读取一个字节,鬼都知道效率是非常低的。所以最好是使用后面两个方法。 /** *读取流 * *@paraminStream *@return字节数组 *@throwsExcepti

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号