对LARS(Least Angle Regression)的简单理解

对LARS(Least Angle Regression)的简单理解前言我在本科的时候接触过用LASSO筛选变量的方法,但了解不多。这几天在公司实习,学习到特征选择,发现还有个LARS是经常和LASSO一起被提起的,于是我临时抱佛脚,大概了解了一下LARS的原理。在看文章的时候发现很多人提到SolutionPath这样一个概念,感觉很费解,后来参阅了Efron等人的"LeastAngleRegression"论文,总算是明白了一些。不过本人由于懒,后面数学…

大家好,又见面了,我是你们的朋友全栈君。

前言

我在本科的时候接触过用LASSO筛选变量的方法,但了解不多。这几天在公司实习,学习到特征选择,发现还有个LARS是经常和LASSO一起被提起的,于是我临时抱佛脚,大概了解了一下LARS的原理。

在看文章的时候发现很多人提到Solution Path这样一个概念,起初很费解,后来看了Efron等人的”Least Angle Regression”论文,算是明白了一些。不过本人由于懒,原文后面数学证明的部分直接跳过了,这里推荐想了解LASSO和LARS的人先读一下这篇论文,极其有助于理解。

在介绍LARS之前,需要简单讲一下它的前辈:Foward Stepwise Regression(向前逐步回归)、Stagewise Regression(“逐步的逐步回归”)、还有LASSO回归。

Stepwise(逐步回归)

为什么会需要对变量进行逐步回归,这是因为有的时候备选变量太多,全部丢进回归模型会导致模型复杂度过高、甚至是拟合精度下降。逐步回归是一种挑选变量的方式,就像买萝卜一样,从最大的萝卜挑起,再挑次大的,次次大的,一直到挑够10个萝卜,然后去结账。但挑选变量不是买萝卜这么简单,变量之间或多或少有相关性,而我们用逐步回归挑选变量的时候,可能会错过一些和现有变量相关度高,而又很重要的变量。

这是逐步回归模型本身的问题。逐步回归的原理是:先挑一个和 y 相关度最高的变量 x1,然后跑 yx1 的回归,这时 x1 的回归系数会等于 x1y 的相关系数ρ1,模型的残差为 r1,再从剩下变量中选出和 r1 相关系数(绝对值)最大的变量 x2,再把 ρ2x2 加入回归中,以此类推。

对LARS(Least Angle Regression)的简单理解

注意,线性回归当前选用的 X 组成一个向量空间,y_fity 在这个向量空间上的投影,而残差 r 垂直于这个向量空间,即残差和当前所有变量无关。

对LARS(Least Angle Regression)的简单理解

那么在挑选下一个变量时,我们会选择那些与 r 相关的变量,而忽视那些与 r 无关,但和 X 有关的变量。这是逐步回归的一大缺点。

那么,有没有一种不那么激进的方法呢?有,其一便是Stagewise法。

Stagewise

Stepwise在挑选完变量后,直接把 ρx 加入模型中,但Stagewise不这么做,他一次加一部分,一次加一部分,这一部分记作 εx。ε 可以理解为步长,是一个很小的数。

初始时模型中没有变量,所有 β = 0,我们求得与 y 最相关的变量是 x1,于是从 β1 = ±ε 开始,按增量 ±ε 改变 β1(步长正负取决于相关系数的正负),而随着添加进回归的 ±εx 增多,x 和模型残差的相关系数会越来越小,或者说,残差中越来越多的部分被x所解释。当 corr(x1, r) 低至一个阈值时——这个阈值就是残差和次位赢家 x2 的相关系数 corr(x2, r) ,我们开始把 ±εx2 加进模型。这时 x1 的系数 β1 固定不变了,我们以步长 ±ε 改变 β2,降低 corr(x2, r’) ,直到 corr(x2, r’) = max(corr(xi, r’)),以此类推。

这个方法相比Stepwise要谨慎许多,但显而易见的是,这个模型的运算速度受步长限制,当步长很小时,模型的运算十分复杂。

LARS

LARS的思路很简单:我们让步长ε尽量大一点,再尽量大一点。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/151250.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • Anaconda–Pycharm安装教程[通俗易懂]

    Anaconda–Pycharm安装教程[通俗易懂]因为不想每次下载安装的时候都要去找博客,干脆就参考别人的博客,把自己需要的写下来了。1、Anaconda的安装从官网https://www.anaconda.com/download/下载Anaconda的安装程序,在该页面选择你电脑所对应的系统(Windows、macOSorLinux)以及操作系统位数(64位or32位)。选择Python3.8,等待下载完成,之后便会得到一个anaconda的exe可执行文件。![在这里插入图片描述](https://img-blog.csd

  • Object转Map和Map转Object(对象转map,map转对象)

    Object转Map和Map转Object(对象转map,map转对象)第一种方法:fastJosnimportcom.alibaba.fastjson.JSON;importcom.alibaba.fastjson.JSONObject;Object转MapFindArchiveDtofindArchiveDto=newFindArchiveDto();findArchiveDto.setContractStatus(“降龙”);…

  • latex公式 换行

    latex公式 换行latex公式换行方案1:方案2:添加了对齐的功能:

    2022年10月29日
  • 安捷伦频谱仪n9010a_安捷伦频谱仪LAN设置

    安捷伦频谱仪n9010a_安捷伦频谱仪LAN设置频谱仪操作说明按键输入所测6个频点的中心频率。(注:与步骤8对应,若所测频点为4临频输出,此处频率=第一个频点中心频率+12MHz;若所测频点为6临频输出,此处频率=第一个频点中心频率+20MHz;)20.点击“AMPTD”对应的右侧按键,液晶屏右侧出现一列选项;21.点击“Attenuation”对应的右侧按键,左右旋转按键矩阵中的旋钮键,使得频谱两边的值载噪比最大,此值即为设备的载噪比六.…

  • vueThink权限配置

    vueThink权限配置

    2021年10月11日
  • aria2 txt导入_共一章 · mac下使用Aria2教程-迅雷和百度盘终极解决方案 · 看云[通俗易懂]

    #1.第一步:安装aria2##1.1下载并安装aria2下载最新的mac版本aria2(目前是1.19.3),以下提供三种下载方式(推荐第三种):1.[官网地址,可以下载其他版本](https://aria2.github.io)2.[本人百度云地址](https://pan.baidu.com/s/1ggfyQsj)密码:nyr13.[点击直接下载,aria2-1.19.3-…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号