回归分析中自变量取舍、检验及多重共线性处理(VIF)「建议收藏」

回归分析中自变量取舍、检验及多重共线性处理(VIF)「建议收藏」A1正交假定:误差项矩阵与X中每一个x向量都不相关高斯-马尔科夫定理:若满足A1和A2假定,则采用最小二乘法得到回归参数估计是最佳线性无偏估计方程估计值b1和b2可以看做偏回归系数,也是相应自变量对y的一种偏效应偏效应:在控制变量下,各自变量X对因变量Y的净效应残差项:针对具体模型而言,被定义为样本回归模型中观测值与预测值之差误差项:针对总体真实回归模型而言,它由一些不可观测因素或测量…

大家好,又见面了,我是你们的朋友全栈君。

A1 正交假定:误差项矩阵与X中每一个x向量都不相关
高斯-马尔科夫定理:若满足A1和A2假定,则采用最小二乘法得到回归参数估计是最佳线性无偏估计
方程估计值b1和b2可以看做偏回归系数,也是相应自变量对y的一种偏效应
偏效应:在控制变量下,各自变量X对因变量Y的净效应
残差项:针对具体模型而言,被定义为样本回归模型中观测值与预测值之差
误差项:针对总体真实回归模型而言,它由一些不可观测因素或测量误差所引起
纳入无关自变量并不影响OLS估计结果的无偏性,但是如果无关自变量如果与其他自变量相关,会导致相应回归系数(b1,b2)的标准误增大;换句话说,如果总体中无关自变量对y没有偏效应,那么把它加入模型只可能增加多重共线性问题,从而减弱估计的有效性。
因此,不要加入无关自变量,原因是

  1. 有可能错过理论上有意义发现
  2. 违背了简约原则
  3. 浪费了自由度
  4. 导致估计精度下降

如果忽略有关自变量可能有两种情况

  1. 所忽略的变量与模型中其他变量无关
  2. 所忽略变量与模型中其他变量有关
    针对第一种情况,最小二乘估计无偏,但对第二种情况,被忽略自变量成了误差项一部分,使得x2与误差项之间不再保持独立,因此,回归系数将是总体参数的有偏估计(看第8章)

对因变量取自然对数log作用在于:

  1. 我们关注焦点是自变量导致因变量改变的比例,而不是绝对量
  2. 取自然对数后因变量分布更趋近于正态分布, 这将有助于减小样本中异常值对回归估计的影响;另外,对因变量取自然对数,还能消除残差的异方差(乘法变加法)以及残差的非正态性

SST=SSE+SSR
SST的自由度为n-1,损失的自由度是由于我们用样本均值来估计总体均值
SSE的自由度是n-p,损失了p个自由度是由于因变量的估计值需要估计p个参数
SSR自由度为p-1,因为估计值y是由相同回归直线计算得到,而这条回归直线只有p个自由度,其中一个自由度损失是因为所有回归离差之和必须为0

MSR:回归均方
MSE:残差均方
MSR=SSR/(p-1)
MSE=SSE/(n-p)

判定系数(R^2):回归平方和占总平方和的比例
R^2=SSR/SST
当回归方程加入更多自变量:

  1. SST保持不变
  2. SSR会增加(至少不减少)
  3. SSE会减少(至少不减少)
  4. R^2会增加(至少不减少)
  5. MSR一般会增加
  6. MSE一般会减少
  7. 回归方程F检验值一般会增加
    注意:对于第5和第7项,当回归模型中加入不相关变量时,对解释平方和没有贡献,却消耗了更多的自由度,此时可能导致不好的模型

为什么自由度损失越少越好?

F检验:检验因变量Y和自变量x1,x2,x3…的线性关系是否显著,即判断所有的回归系数中是否至少有一个不等于0;我们不仅可以利用F检验来检验回归模型,还可以用它来检验模型中某个回归系数是否为0;F检验是比t检验更为一般的统计检验

拟合优度测量:拟合优度包含了判定系数,F检验和t检验
判定系数R^2:对模型整体拟合优度是一个有启发意义的测量,但它没有相应检验统计量
R^2=SSR/SST=SSR/(SSR+SSE)

回归分析两个常见问题:

  1. 加入了不相关的自变量,其后果是:
    #1. 错过有理论价值的发现
    #2. 违背简约原则
    #3. 损耗自由度:模型中多增加一个自变量将多消耗一个自由度,当样本量较少时,过度损耗自由度可能会造成回归方程无法求解
    #4. 降低估计精度:加入自变量过多,自变量间相关程度就可能增加,容易造成多重共线性,从而降低估计精度
  2. 忽略了关键的自变量

加入和删除自变量时,应该遵循两个标准:

  1. 加入自变量要有理论依据
  2. 用F检验来排除那些不相关的自变量

多重共线性:
不能仅凭自变量两两简单线性相关来判断是否存在共线性,判断共线性要基于整个自变量矩阵X来检查列向量组
多重共线性解决:

  1. 减少自变量
  2. 增加样本量
    3.换用数据
    多重共线性分为完全多重共线性和近似多重共线性,完全多重共线性不常见,但近似多重共线性很常见
    多重共线性几乎不可避免,因为自变量之间总会存在某种程度的相关,但只有当自变量之间线性关系高到一定程度才发生多重共线性问题
    多重共线性会导致参数估计值标准误增大等问题
    除完全共线性外,即使较强的多重共线性也没有违背多元回归分析的假定,即回归参数OLS估计仍然是无偏和一致的
    完全多重共线性问题对分类变量转化为虚拟变量也有指导意义,如季节问题,完全多重共线性会导致OLS估计有偏,因为它的矩阵是奇异矩阵,是不可逆的
    近似多重共线性是可以估计的,但是估计的误差很大,即回归参数估计值标准误过大,而回归系数估计的标准误过大会导致统计检验和推论不可靠
    多重共线性问题使得我们意识到不能在模型中无限度增加自变量数目,因为自变量的增加,使得每个自变量能被模型其他自变量解释的程度越来越高,复相关系数也越来越大,多重共线性问题越来越严重
    反映多重共线性程度指标VIF(方差膨胀因子)
    VIF=1/TOL=1/(1-R’^2)

判断是否存在严重近似共线性经验性原则:

  1. 自变量中最大方差膨胀因子VIF大于10
  2. 平均方差膨胀因子VIF明显大于1
    如果满足上述一条,则我们可认为存在严重的近似多重共线性问题

对于完全多重共线性处理,可以直接删除相关变量
但是对于近似多重共线性问题,我们一方面可以通过增大样本量,另外也可以通过将一定相关性变量综合成较少的几个变量,如利用主成分分析或因子分析等

多重共线性处理办法:

  1. 保留重要解释变量,去掉次要或可替代解释变量
  2. 改变解释变量形式
    ex:对横截面数据采用相对数变量,对于时间序列数据采用增量型变量
  3. 差分法
  4. 逐步回归分析
    逐步回归分析是将逐个引入自变量,引入条件时该自变量经F检验显著,每引入一个自变量后,对已选入变量进行逐个检验,如果原来引入的变量由于后面变量引入而变得不再显著,就将其剔除
  5. 主成份分析
    主成份分析的降维优势明显,主成分回归方法对一般多重共线性问题还是适用的,尤其是共线性较强的变量之间
  6. 偏最小二乘回归
  7. 岭回归(L2正则)
    岭回归通过最小二乘法改进允许回归系数有偏估计量存在而补救多重共线性方法,采用它可允许小的误差而换取高于无偏估计量的精度
  8. 增加样本容量
    多重共线性问题实质是样本信息不充分而导致模型参数不能精确估计,故追加样本信息是解决问题的一条有效途径

参考内容:
https://blog.csdn.net/zxd1754771465/article/details/73468689
https://blog.csdn.net/nieson2012/article/details/48980491/

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/138943.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • 数据分析决策树算法_大数据决策树算法

    数据分析决策树算法_大数据决策树算法在2006年12月召开的IEEE数据挖掘国际会议上,与会的各位专家选出了当时的十大数据挖掘算法(top10dataminingalgorithms)。本博客的十大数据挖掘算法系列已经介绍过其中的5个。本文主要介绍决策树中的C4.5,这也是当年位列十大数据挖掘算法之首的经典算法,最后,我们还将演示在Weka(怀卡托智能环境)中进行数据挖掘的实际操作方法

  • NFV相关术语解释[通俗易懂]

    NFV相关术语解释[通俗易懂]NFV词汇1)0~9无。2)A~B无。3)==C==(1)CPU(CentralProcessingUnit,中央处理器):一种NFV计算域设备,用以提供主要的容器接口。(2)computedomain(计算域):一种NFVI(笔者注:NFVI即NFVInfrastructure——NFV基础设施)内的域,其中包括各种服务器与存储(设备)。(3)computenod…

  • dirsearch安装教程「建议收藏」

    dirsearch安装教程「建议收藏」dirsearch安装教程dirsearch是一个用python开发的网站目录扫描工具github下载地址笔者安装在windows上下载的是zip包因为需要用到python直接解压到安装python环境的位置打开cmd进入dirsearch目录后,输入命令进行安装pythonsetup.py安装成功后就可以直接使用了pythondirsearch.py-uip命令详解dirsearch-h到这里就结束了…

  • vmware15win7能用吗_虚拟机重装系统

    vmware15win7能用吗_虚拟机重装系统step1:打开Vmware15虚拟机工具step2:新建虚拟机step3:初学者建议选择典型配置step4:安装操作系统,选择物理机上操作系统安装的光盘文件step5:此次安装的是NelKylin7系统,内核是Linux系统step6:命名你想要的虚拟机名称和存放的内存位置step7:设置磁盘大小(不宜过小),初学者建议将虚拟机存储为单个文件step8:点击完成,虚拟机就创建好了step9:开启虚拟机,完成操作系统的初始化step10:安装系统,点击enterstep11:选择各项

  • ubuntu查看cuda、cudnn等版本的命令

    1、查看ubuntu版本cat/proc/version结果:能看到linux内核版本号、gcc版本、ubuntu版本及安装时间。2、系统位数uname-a能看到linux内核版本号和系统是x86-64位的。3、cuda版本cat/usr/local/cuda/version.txt版本是10.0.1304、cudnn版本cat…

  • 异步fifo的深度,如何确定?_二叉树的最小深度和最大深度

    异步fifo的深度,如何确定?_二叉树的最小深度和最大深度目录1.异步FIFO最小深度计算1.1异步FIFO最小深度计算原理1.2异步FIFO最小深度常用计算公式1.2.1假如读写FIFO是同时进行的1.2.2读写FIFO不是同时进行的情况2.异步FIFO最小深度计算实例2.1用于SDRAM中的读写FIFO2.2异步时钟数据接口3.FIFO实例1.异步FIFO最小深度计算计算FIF…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号