L1正则化的理解(l1和l2正则化代表什么意思)

在论文中看到L1正则化,可以实现降维,加大稀疏程度,菜鸟不太懂来直观理解学习一下。在工程优化中也学习过惩罚函数这部分的内容,具体给忘记了。而正则化正是在损失函数后面加一个额外的惩罚项,一般就是L1正则化和L2正则化。之所以叫惩罚项就是为了对损失函数(也就是工程优化里面的目标函数)的某个或些参数进行限制,从而减少计算量。L1正则化的损失函数是是不光滑的,L2正则化的损失函数…

大家好,又见面了,我是你们的朋友全栈君。

在论文中看到L1正则化,可以实现降维,加大稀疏程度,菜鸟不太懂来直观理解学习一下。
在工程优化中也学习过惩罚函数这部分的内容,具体给忘记了。而正则化正是在损失函数后面加一个额外的惩罚项,一般就是L1正则化和L2正则化。之所以叫惩罚项就是为了对损失函数(也就是工程优化里面的目标函数)的某个或些参数进行限制,从而减少计算量。
在这里插入图片描述
L1正则化的损失函数是F(x)=f(x)+\lambda\left | x \right |_1是不光滑的,
L2正则化的损失函数F(x)=f(x)+\lambda\left | x \right |_2^2是光滑的。
从下图理解更加直观:
在这里插入图片描述
左图为L1正则化,若考虑二维的情况,即只有两个权值   w 1 , w 2   \ w^1,w^2\,  w1,w2,令L1正则化的修正项为L =   ∣ w 1 ∣ + ∣ w 2 ∣   \ |w^1|+|w^2|\,  w1+w2的约束条件下(图中的黑色框)求原损失函数的最小值(图中的等值线),可以看出,当等值线与L图形首次相交的地方就是最优解,上图中在上方顶点处相交,这个顶点就是最优解,这其中可以看出   w 1   \ w^1\,  w1 = 0,从而就达到了减少参数产生稀疏模型,进而可以用于特征选择。
同理右图为L2正则化的过程,可以想到L2正则化中磨去了棱角,例如在图中相交的那一点,此时两个参数都不为零,所以L2正则化不具有稀疏性。

参考:
https://blog.csdn.net/jinping_shi/article/details/52433975
https://blog.csdn.net/qq_32742009/article/details/81629210

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/128144.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • Dreamweaver2019版安装教程

    Dreamweaver2019版安装教程dreamweavercc2019新功能:1、CEF更新dreamweavercc2019现已与Chromium嵌入式框架的最新版本进行集成,这样设计人员和开发人员就可以构建与HTML5兼容的网站,并显示Flexbox元素、CSS网格等内容。2、ES6支持全新的EcmaScript6支持包括类、方法、箭头函数、生成器函数的快速输入列表,以及ES6代码的lint…

  • if python用法_for循环语句

    if python用法_for循环语句今天,我们将学习Python中if语句的基本使用。if在Python中用作某个条件或值的判断,格式为:if条件: 执行语句1else: 执行语句2else是当条件不成立时运行的代码。我们先来看个例子,程序判断天气情况并输出是否要带伞:weather=input(“今日天气是:”)ifweather==”雨天” print(“今天出门需要带伞”)else: print(“今天出门不需要带伞”)运行代码,输入雨天会提示要带伞。if语句中用的两个“=”是什么呢

  • shell语法简单介绍

    shell语法简单介绍

    2021年12月10日
  • centos7 socks5代理_ssh代理上网

    centos7 socks5代理_ssh代理上网关于SOCKS5  SOCKS5是一个代理协议,它在使用TCP/IP协议通讯的前端机器和服务器机器之间扮演一个中介角色,使得内部网中的前端机器变得能够访问Internet网中的服务器,或者使通讯更加安全。   正常情况下客户端和服务端的通信:客户端服务端   使用了SOCKS5代理后的通讯:客户端代理服务器服务端#安装ss5依赖yuminstallgcc

  • 大型网站技术架构演进_网站信息架构

    大型网站技术架构演进_网站信息架构出处:http://blog.csdn.net/anxpp/article/details/51614973大型网站架构演化过程1、初始阶段的网站架构网站一开始,使用的人并不多,访问量比较小,使用一台服务器就已经完全满足要求的。我们的个人主页、博客,都可以使用如下架构:01应用程序、数据库和文件等资源,都在同一台服务器上。通常也使用一些开源免费的软件来将成本最低化。2.2、应用服务于数

  • Java 实现ip代理池请求-爬虫防封、文章阅读刷量

    Java 实现ip代理池请求-爬虫防封、文章阅读刷量实现过程主要分两步:第一步,需要到ip代理平台,注册开通获取代理ip的api接口第二步,请求api接口,获得代理ip列表,实现ip代理请求指定网址。pom需要依赖<!–hutool–> <dependency> <groupId>cn.hutool</groupId> <artifactId>hutool-all</artifactId> <version>5.3.6&lt..

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号