l1正则化为什么稀疏(特征值重根与秩的关系)

L1正则化与稀疏性L1正则化使得模型参数具有稀疏性的原理是什么?机器学习经典之作《patternrecognitionandmachinelearning》中的第三章作出的一个解释无疑是权威且直观的,我们也经常都是从这个角度出发,来解释L1正则化使得模型参数具有稀疏性的原理。再回顾一下,以二维为例,红色和黄色的部分是L1、L2正则项约束后的解空间,蓝色的等高线是凸优化问题中的目标函数(…

大家好,又见面了,我是你们的朋友全栈君。

L1正则化与稀疏性

L1正则化使得模型参数具有稀疏性的原理是什么?

机器学习经典之作《pattern recognition and machine learning》中的第三章作出的一个解释无疑是权威且直观的,我们也经常都是从这个角度出发,来解释L1正则化使得模型参数具有稀疏性的原理。再回顾一下,以二维为例,红色和黄色的部分是L1、L2正则项约束后的解空间,蓝色的等高线是凸优化问题中的目标函数(未加入正则项的)的等高线,如图所示,L2正则项约束后的解空间是圆形,而L1正则项约束后的解空间是菱形,显然,菱形的解空间更容易在尖角处与等高线碰撞出稀疏解。
在这里插入图片描述
假设原目标函数是 y = ( w 1 − 2 ) 2 + ( w 2 − 2 ) 2 y=(w_1-2)^2+(w_2-2)^2 y=(w12)2+(w22)2
在未加入正则项之前,这个最优解无疑是 ( w 1 = 2 , w 2 = 2 ) (w_1=2,w_2=2) w1=2w2=2
但加入了正则项
y = ( w 1 − 2 ) 2 + ( w 2 − 2 ) 2 + 1 ∗ ( w 1 2 + w 2 2 ) y=(w_1-2)^2+(w_2-2)^2+1*(w_1^2+w_2^2) y=(w12)2+(w22)2+1w12+w22之后但最优解就不再是 ( w 1 = 2 , w 2 = 2 ) (w_1=2,w_2=2) w1=2w2=2
而是 ( w 1 = 1 , w 2 = 1 ) (w_1=1,w_2=1) w1=1w2=1
这是 ( w 1 − 2 ) 2 + ( w 2 − 2 ) 2 = a (w_1-2)^2+(w_2-2)^2=a (w12)2+(w22)2=a w 1 2 + w 2 2 = b w_1^2+w_2^2=b w12+w22=b这两个圆的切点。切点处a=2,b=2,此时正好a=b,这与我们的目标函数取值 y = ( w 1 − 2 ) 2 + ( w 2 − 2 ) 2 y=(w_1-2)^2+(w_2-2)^2 y=(w12)2+(w22)2是个圆形有关,如果是其他形状,不一定有a=b。

上面的解释无疑是正确的,但还不够准确,也就是回答但过于笼统,以至于忽略了几个关键问题,例如,为什么加入正则项就是定义了一个解空间约束,为什么L1、L2正则项的解空间不同。如果第一个问题回答了,第二个问题相对好回答。
其实可以通过kkt条件给出一种解释。
事实上,“带正则化项”和“带约束条件”是等价的,为了约束w的可能取值空间从而防止过拟合。

如果我们为线性回归加上一个约束,就是w的l2范数不能大于m:
m i n ∑ i = 1 N ( y i − w T x i ) 2 s . t . ∣ ∣ w ∣ ∣ 2 < = m (1) min \sum_{i=1}^{N} (y_i-w^{T}x_i)^2\\ s.t. ||w||^2<=m \tag1 mini=1N(yiwTxi)2s.t.w2<=m(1)

为了求解这个带约束条件的不等式,我们会写出拉格朗日函数
∑ i = 1 N ( y i − w T x i ) 2 + λ ( ∣ ∣ w ∣ ∣ 2 − m ) (2) \sum_{i=1}^{N} (y_i-w^{T}x_i)^2+\lambda(||w||^2-m) \tag2 i=1N(yiwTxi)2+λ(w2m)(2)
如果 w ∗ w^{*} w是原问题(1)的解, λ ∗ \lambda^{*} λ是对偶问题(2)的解,
一般都是先求出对偶问题的解 λ ∗ \lambda^{*} λ,然后带入kkt条件中( λ ∗ \lambda^{*} λ w ∗ w^{*} w的关系),就能求出 w ∗ w^{*} w w ∗ w^{*} w也必然是原问题的解。
这里kkt条件是:
0 = m i n ∇ w ( ∑ i = 1 N ( y i − w ∗ T x i ) 2 + λ ∗ ( ∣ ∣ w ∗ ∣ ∣ 2 − m ) ) s . t . 0 < = λ ∗ (3) 0=min \nabla_w(\sum_{i=1}^{N} (y_i-w^{*T}x_i)^2+\lambda^{*}(||w^{*}||^2-m))\\ s.t. 0<=\lambda^{*} \tag3 0=minw(i=1N(yiwTxi)2+λ(w2m))s.t.0<=λ(3)

其中,第一个式子就是带L2正则项的优化问题最优解 w ∗ w^{*} w,而 λ ∗ \lambda^{*} λ是L2正则项前的系数。

这就是为什么带正则化项相当于为参数约束了解空间,且L2正则项为参数约束了一个圆形解空间,L1正则项为参数约束了一个菱形解空间,如果原问题的最优解没有落在解空间的内部,就只能落在解空间的边界上。
而L1正则项为参数约束了一个“棱角分明”的菱形解空间,更容易与目标函数等高线在角点,坐标轴上碰撞,从而产生稀疏性。

看到上面,其实我直接有个疑问,就是“如果我们为线性回归加上一个约束,就是w的l2范数不能大于m”、这句话里的m是个固定的确定值,还是瞎设的值。
后面我的想法是,任意给定一个m值,都能得到一个两圆相切的切点,从而得到其给定m条件下的带正则项的最优解,然后在不同的m值中,再选出某个m值对应的最优解是全局最优解,从而得到最终的最优解。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/128834.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • 简单的贪吃蛇游戏代码_python 贪吃蛇

    简单的贪吃蛇游戏代码_python 贪吃蛇Python贪吃蛇游戏编写代码来源:中文源码网浏览:次日期:2018年9月2日【下载文档:Python贪吃蛇游戏编写代码.txt】(友情提示:右键点上行txt文档名->目标另存为)Python贪吃蛇游戏编写代码最近在学Python,想做点什么来练练手,命令行的贪吃蛇一般是C的练手项目,但是一时之间找不到别的,就先做个贪吃蛇来练练简单的语法。由于…

  • utf8在mysql占几个字符_utf-8的中文,一个字符占几个字节「建议收藏」

    utf8在mysql占几个字符_utf-8的中文,一个字符占几个字节「建议收藏」https://blog.csdn.net/kindsuper_liu/article/details/80202150英文字母和中文汉字在不同字符集编码下的字节数英文字母:·字节数:1;编码:GB2312字节数:1;编码:GBK字节数:1;编码:GB18030字节数:1;编码:ISO-8859-1字节数:1;编码:UTF-8字节数:4;编码:UTF-16字节数:2;编…

  • psm倾向得分匹配法(倾向性评分匹配)

    原标题:一文读懂倾向得分匹配法(PSM)举例及stata实现(一)一、倾向匹配得分应用之培训对工资的效应政策背景:国家支持工作示范项目(NationalSupportedWork,NSW)研究目的:检验接受该项目(培训)与不接受该项目(培训)对工资的影响。基本思想:分析接受培训组(处理组,treatmentgroup)接受培训行为与不接受培训行为在工资表现上的差异。但是,现实可以观测…

  • SpringBoot调用.asmx后缀的webservice接口

    SpringBoot调用.asmx后缀的webservice接口目录一、简介二、示例一、简介最近在项目中,在与其他公司做对接中需要回调一个对方的接口,根据对方提供的接口地址,发现是webservice的接口,而且接口后缀名为.asmx,因为现在webservice接口基本上都是wsdl这种形式,所以使用wsdl调用方式不能用,得使用其他方法。WebService是一个SOA(面向服务的编程)的架构,它是不依赖于语言,不依赖于平台,可以实现不同的语言间的相互调用,通过Internet进行基于Http协议的网络应用间的交互。其实WebService.

  • 小鹤双拼入门和小鹤音形的搜狗输入法配置方法[通俗易懂]

    小鹤双拼入门和小鹤音形的搜狗输入法配置方法[通俗易懂]记忆口诀秋闱皒软月,韵书迟落撇。阿宋穷带份羹,航岸快赢良况。邹霞夸草追鱼滨,鸟眠小鹤双拼。iueieuanue,unui_oie图月,书痴aongaieneng,anganing_ang建安,快赢,良况ou_aaouiin,iaoian瞎夸,追鱼记忆口诀①(官方版):QiuWeiRuanT_ue_veYunU_shuI_chiSong_iongDaiFenGengHangJ_an秋闱软月云梳翅,松拥

  • Python生成exe可执行文件

    Python生成exe可执行文件将Python文件编译成exe可执行文件,可使用pyinstaller工具或py2exe工具实现。这里使用pyinstaller来说明。安装pyinstaller模块使用pip安装pipinstallpyinstaller生成exe文件准备好需要编译成exe的Python文件在这个Python文件的当前路径执行pyinstaller-Fxxx.py(xxx为要Python…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号