对LARS(Least Angle Regression)的简单理解

对LARS(Least Angle Regression)的简单理解前言我在本科的时候接触过用LASSO筛选变量的方法,但了解不多。这几天在公司实习,学习到特征选择,发现还有个LARS是经常和LASSO一起被提起的,于是我临时抱佛脚,大概了解了一下LARS的原理。在看文章的时候发现很多人提到SolutionPath这样一个概念,感觉很费解,后来参阅了Efron等人的"LeastAngleRegression"论文,总算是明白了一些。不过本人由于懒,后面数学…

大家好,又见面了,我是你们的朋友全栈君。

前言

我在本科的时候接触过用LASSO筛选变量的方法,但了解不多。这几天在公司实习,学习到特征选择,发现还有个LARS是经常和LASSO一起被提起的,于是我临时抱佛脚,大概了解了一下LARS的原理。

在看文章的时候发现很多人提到Solution Path这样一个概念,起初很费解,后来看了Efron等人的”Least Angle Regression”论文,算是明白了一些。不过本人由于懒,原文后面数学证明的部分直接跳过了,这里推荐想了解LASSO和LARS的人先读一下这篇论文,极其有助于理解。

在介绍LARS之前,需要简单讲一下它的前辈:Foward Stepwise Regression(向前逐步回归)、Stagewise Regression(“逐步的逐步回归”)、还有LASSO回归。

Stepwise(逐步回归)

为什么会需要对变量进行逐步回归,这是因为有的时候备选变量太多,全部丢进回归模型会导致模型复杂度过高、甚至是拟合精度下降。逐步回归是一种挑选变量的方式,就像买萝卜一样,从最大的萝卜挑起,再挑次大的,次次大的,一直到挑够10个萝卜,然后去结账。但挑选变量不是买萝卜这么简单,变量之间或多或少有相关性,而我们用逐步回归挑选变量的时候,可能会错过一些和现有变量相关度高,而又很重要的变量。

这是逐步回归模型本身的问题。逐步回归的原理是:先挑一个和 y 相关度最高的变量 x1,然后跑 yx1 的回归,这时 x1 的回归系数会等于 x1y 的相关系数ρ1,模型的残差为 r1,再从剩下变量中选出和 r1 相关系数(绝对值)最大的变量 x2,再把 ρ2x2 加入回归中,以此类推。

对LARS(Least Angle Regression)的简单理解

注意,线性回归当前选用的 X 组成一个向量空间,y_fity 在这个向量空间上的投影,而残差 r 垂直于这个向量空间,即残差和当前所有变量无关。

对LARS(Least Angle Regression)的简单理解

那么在挑选下一个变量时,我们会选择那些与 r 相关的变量,而忽视那些与 r 无关,但和 X 有关的变量。这是逐步回归的一大缺点。

那么,有没有一种不那么激进的方法呢?有,其一便是Stagewise法。

Stagewise

Stepwise在挑选完变量后,直接把 ρx 加入模型中,但Stagewise不这么做,他一次加一部分,一次加一部分,这一部分记作 εx。ε 可以理解为步长,是一个很小的数。

初始时模型中没有变量,所有 β = 0,我们求得与 y 最相关的变量是 x1,于是从 β1 = ±ε 开始,按增量 ±ε 改变 β1(步长正负取决于相关系数的正负),而随着添加进回归的 ±εx 增多,x 和模型残差的相关系数会越来越小,或者说,残差中越来越多的部分被x所解释。当 corr(x1, r) 低至一个阈值时——这个阈值就是残差和次位赢家 x2 的相关系数 corr(x2, r) ,我们开始把 ±εx2 加进模型。这时 x1 的系数 β1 固定不变了,我们以步长 ±ε 改变 β2,降低 corr(x2, r’) ,直到 corr(x2, r’) = max(corr(xi, r’)),以此类推。

这个方法相比Stepwise要谨慎许多,但显而易见的是,这个模型的运算速度受步长限制,当步长很小时,模型的运算十分复杂。

LARS

LARS的思路很简单:我们让步长ε尽量大一点,再尽量大一点。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/151250.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • linux中oracle以sys登录,以sys登录数据库

    linux中oracle以sys登录,以sys登录数据库oracle中dblink创建的两种方式当用户要跨本地数据库,访问另外一个数据库表中的数据时,本地数据库中必须创建了远程数据库的dblink,通过dblink本地数据库可以像访问本地数据库一样访问远程数据库表中的数据。下面讲介绍如何在本地数据库中创建dblink.创建dblink一般有两种方式,不过在创建dblink之前用户必须…文章楚兴2013-08-271264浏览量Sys和system用…

  • 微机原理与接口技术知识点整理复习–纯手打

    微机原理与接口技术知识点整理复习–纯手打明天就要考试了,来一波知识点整理。都会了,期末考试你不过你来找我!第一章1.按微处理器的字节分类4位微处理器8位微处理器16位微处理器32位微处理器2.这个必须背,不是简答就是简答,肯定出简答3.系统软件给一个实例判断是否是系统软件!常见的系统软件:操作系统、程序语言设计、语言处理程序、数据库管理程序、系统辅助处理程序第二章1….

  • 已知最大公约数和最小公倍数_7和15的最大公因数和最小公倍数

    已知最大公约数和最小公倍数_7和15的最大公因数和最小公倍数7-4 最大公约数和最小公倍数 (20分) 本题要求两个给定正整数的最大公约数和最小公倍数。输入格式: 输入在一行中给出两个正整数M和N(≤1000)。输出格式: 在一行中顺序输出M和N的最大公约数和最小公倍数,两数字间以1空格分隔。 输入样例: 511 292 输出样例: 73 2044#include <iostream>#include<ioma…

  • RSA加密算法详细解说[通俗易懂]

    RSA加密算法详细解说[通俗易懂]RSA加密算法是一种非对称加密算法,于1977年由罗纳德·李维斯特(RonRivest)阿迪·萨莫尔(AdiShamir)伦纳德·阿德曼(LeonardAdleman)一起提出的。RSA的优势:对极大整数做因数分解的难度决定了RSA算法的可靠性,对一极大整数做因数分解愈困难,RSA算法愈可靠加密由公钥,私钥,明文,密文,四部分组成。质数与互质数一个大于1的自然数,除了1和它本身…

  • CImage 类

    CImage 类CImage提供增强的位图支持,包括加载和保存采用JPEG、GIF、BMP和可移植网络图形格式的图像(PNG)格式。说明无法在Windows运行时中执行的应用程序中使用此类及其成员。语法classCImage成员公共构造函数公共构造函数 “属性” 说明 CImage::CImage 构造函数。 公共方法公共方法 “属性” 说明 CImage::AlphaBlend 显示具有透明或半透明像素的位图。 CImage:.

  • Image.open()_image.open函数

    Image.open()_image.open函数文章目录1导入库2图像读取3读入图片类型4通道5显示方法6相互转换Image.open()和ci2.imread()都是用来读取的图像,但在使用过程中存在一些差别。具体,可以从以下几个角度进行分析:1导入库导入的包不同。img=cv2.imread(path),这是opencv中的处理图片的函数,使用时需importcv2img=Image.open(path),这是PIL中的一个处理图片的函数,使用时需fromPILimportImage#opencv-py

    2022年10月14日

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号