偏最小二乘法

偏最小二乘法偏最小二乘回归是一种新型的多元统计数据分析方法,它与1983年由伍德和阿巴诺等人首次提出。近十年来,它在理论、方法和应用方面都得到了迅速的发展。密西根大学的弗耐尔教授称偏最小二乘回归为第二代回归分析方法。偏最小二乘回归方法在统计应用中的重要性主要的有以下几个方面:(1)偏最小二乘回归是一种多因变量对多自变量的回归建模方法。(2)偏最小二乘回归可以较好地解决许多以往用普通多元回归无法解决

大家好,又见面了,我是你们的朋友全栈君。

                                                       

      偏最小二乘回归是一种新型的多元统计数据分析方法,它与1983年由伍德和阿巴诺等人首次提出。近十年来,它在理论、方法和应用方面都得到了迅速的发展。密西根大学的弗耐尔教授称偏最小二乘回归为第二代回归分析方法。

偏最小二乘回归方法在统计应用中的重要性主要的有以下几个方面:

(1)偏最小二乘回归是一种多因变量对多自变量的回归建模方法。

(2)偏最小二乘回归可以较好地解决许多以往用普通多元回归无法解决的问题。在普通多元线形回归的应用中,我们常受到许多限制。最典型的问题就是自变量之间的多重相关性。如果采用普通的最小二乘方法,这种变量多重相关性就会严重危害参数估计,扩大模型误差,并破坏模型的稳定性。变量多重相关问题十分复杂,长期以来在理论和方法上都未给出满意的答案,这一直困扰着从事实际系统分析的工作人员。在偏最小二乘回归中开辟了一种有效的技术途径,它利用对系统中的数据信息进行分解和筛选的方式,提取对因变量的解释性最强的综合变量,辨识系统中的信息与噪声,从而更好地克服变量多重相关性在系统建模中的不良作用。

(3)偏最小二乘回归之所以被称为第二代回归方法,还由于它可以实现多种数据分析方法的综合应用。

 

偏最小二乘回归=多元线性回归分析+典型相关分析+主成分分析

 

由于偏最小二乘回归在建模的同时实现了数据结构的简化,因此,可以在二维平面图上对多维数据的特性进行观察,这使得偏最小二乘回归分析的图形功能十分强大。在一次偏最小二乘回归分析计算后,不但可以得到多因变量对多自变量的回归模型,而且可以在平面图上直接观察两组变量之间的相关关系,以及观察样本点间的相似性结构。这种高维数据多个层面的可视见性,可以使数据系统的分析内容更加丰富,同时又可以对所建立的回归模型给予许多更详细深入的实际解释。

一、 偏最小二乘回归的建模策略\原理\方法

1.1建模原理

设有 q个因变量{}和p自变量{}。为了研究因变量和自变量的统计关系,我们观测了n个样本点,由此构成了自变量与因变量的数据表X={}和.Y={}。偏最小二乘回归分别在X与Y中提取出成分 和 (也就是说, 是 的线形组合, 是 的线形组合).在提取这两个成分时,为了回归分析的需要,有下列两个要求:

(1)和应尽可能大地携带他们各自数据表中的变异信息;

(2)与 的相关程度能够达到最大。

这两个要求表明,和 应尽可能好的代表数据表X和Y,同时自变量的成分  对因变量的成分 又有最强的解释能力。

在第一个成分和 被提取后,偏最小二乘回归分别实施X 对 的回归以及 Y对 的回归。如果回归方程已经达到满意的精度,则算法终止;否则,将利用 X被解释后的残余信息以及Y 被 解释后的残余信息进行第二轮的成分提取。如此往复,直到能达到一个较满意的精度为止。若最终对 X共提取了 m个成分,…,,偏最小二乘回归将通过实施 对,…,, 的回归,然后再表达成关于原变量,…,, 的回归方程,k=1,2,…,q 。

 

1.2计算方法推导

为了数学推导方便起见,首先将数据做标准化处理。X 经标准化处理后的数据矩阵记为=(,…,),经标准化处理后的数据矩阵记为=(,…,)。

第一步  记t1是E0的第一个成分,t2是E1的第一个轴,它是一个单位向量,既||w1||=1。

记u1是F0的第一个成分,u1=F0C1。C1 是F0的第一个轴,并且||C1||=1。

如果要,能分别很好的代表XY中的数据变异信息,根据主成分分析原理,应该有

Var()-max

Var()-max

另一方面,由于回归建模的需要,又要求对有很大的解释能力,有典型相关分析的思路,与的相关度应达到最大值,既

r(t1,u1)max

因此,综合起来,在偏最小二乘回归中,我们要求与的协方差达到最大,既

                                                                                                                                 偏最小二乘法

正规的数学表述应该是求解下列优化问题,既 

偏最小二乘法

因此,将在||||=1和||||=1的约束条件下,去求()的最大值。

偏最小二乘法

                                         偏最小二乘法

偏最小二乘法 

可见,是矩阵的特征向量,对应的特征值为.是目标函数值,它要求取最大值,所以, 是对应于矩阵最大特征值的单位特征向量.而另一方面, 是对应于矩阵最大特征值的单位特征向量.

求得轴和后,即可得到成分

              偏最小二乘法          

                       

                   偏最小二乘法

   偏最小二乘法

偏最小二乘法

1.3交叉有效性

可以百度PRESS预测误差平方和,这个用的比较多

偏最小二乘法

来源网络整理


版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/145726.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(1)


相关推荐

  • Python链接MySQL

    本文介绍Python3连接MySQL的第三方库–PyMySQL的基本使用。PyMySQL介绍PyMySQL是在Python3.x版本中用于连接MySQL服务器的一个库,Python2中

  • scrapy爬虫部署服务器「建议收藏」

    scrapy爬虫部署服务器「建议收藏」scrapy爬虫部部署服务器时间:2020年5月27日18:28:30作者:钟健记录:scrapy爬虫关键字:scrapyscrapydscrapydweb一、scrapy爬虫部署服务器scrapy通过命令行运行一般只用于测试环境,而用于运用在生产环境则一般都部署在服务器中进行远程操作。scrapy部署服务器有一套完整的开源项目:scrapy+scrapyd(服务端)+scrapy-client(客户端)+scrapydweb1、scrapyd1.介绍Scrapyd是用于部署和运

  • 使用activiti总结–bpmn画流程图

    节期结束,赶紧总结一下前几天使用的Activiti工作流的一些方法简单介绍一下Activiti:Activiti一套完整的方便的业务流程管理(BPM)框架,它是覆盖了业务流程管理、工作流、服务协作等领域的一个开源的、灵活的、易扩展的可执行流程语言框架。开发人员可以通过插件直接绘画出业务。开发工具:IDEA画流程图插件:actiBPM(在IDEA插件管理中安装就可以了)BPMN…

  • laravel 安装完成后安装 vendor 目录

    laravel 安装完成后安装 vendor 目录

    2021年10月20日
  • 人工智能 猴子摘香蕉问题[通俗易懂]

    人工智能 猴子摘香蕉问题[通俗易懂]人工智能猴子摘香蕉问题1.定义描述环境状态的谓词。AT(x,w):x在w处,个体域:x{monkey},w{a,b,c,box};HOLD(x,t):x手中拿着t,个体域:t{box,banana};EMPTY(x):x手中是空的;ON(t,y):t在y处,个体域:y{b,c};BOX(u):u是箱子,个体域:u{box};BANANA(v):v是香蕉,个体域:v{banana};2.初始状态AT(monkey,a):猴子在a处EMPTY(monkey):猴子手中是空的O

  • 创建servlet的4个步骤_映射不能一对多还是多对一

    创建servlet的4个步骤_映射不能一对多还是多对一Servlet接口的实现类,路径配置映射,ServletConfig对象,ServletContext对象及web工程中文件的读取…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号