最小二乘法求回归直线方程的推导过程

最小二乘法求回归直线方程的推导过程在数据的统计分析中,数据之间即变量x与Y之间的相关性研究非常重要,通过在直角坐标系中做散点图的方式我们会发现很多统计数据近似一条直线,它们之间或者正相关或者负相关。虽然这些数据是离散的,不是连续的,我们无法得到一个确定的描述这种相关性的函数方程,但既然在直角坐标系中数据分布接近一条直线,那么我们就可以通过画直线的方式得到一个近似的描述这种关系的直线方程。当然,从前面的描述中不难看出,所有数据都分布

大家好,又见面了,我是你们的朋友全栈君。

 在数据的统计分析中,数据之间即变量x与Y之间的相关性研究非常重要,通过在直角坐标系中做散点图的方式我们会发现很多统计数据近似一条直线,它们之间或者
正相关或者
负相关。虽然这些数据是离散的,不是连续的,我们无法得到一个确定的描述这种相关性的函数方程,但既然在直角坐标系中数据分布接近一条直线,那么我们就可以通过画直线的方式得到一个近似的描述这种关系的直线方程。当然,从前面的描述中不难看出,所有数据都分布在一条直线附近,因此这样的直线可以画出很多条,而我们希望找出其中的一条,能够最好地反映变量之间的关系。换言之,我们要找出一条直线,使这条直线“最贴近”已知的数据点,设此直线方程为:


最小二乘法求回归直线方程的推导过程

这里的
最小二乘法求回归直线方程的推导过程是为了区分Y的实际值y(这里的实际值就是统计数据的真实值,我们称之为
观察值),当x取值
最小二乘法求回归直线方程的推导过程(i=1,2,3……n)时,Y的观察值为
最小二乘法求回归直线方程的推导过程,近似值为
最小二乘法求回归直线方程的推导过程(或者说对应
最小二乘法求回归直线方程的推导过程的纵坐标是
最小二乘法求回归直线方程的推导过程)。

其中
最小二乘法求回归直线方程的推导过程式叫做Y对x的回归直线方程,b叫做回归系数。要想确定回归直线方程
最小二乘法求回归直线方程的推导过程,我们只需确定a与回归系数b即可。

 设x,Y的一组观察值为:


最小二乘法求回归直线方程的推导过程   i = 1,2,3……n

其回归直线方程为:


最小二乘法求回归直线方程的推导过程

当x取值
最小二乘法求回归直线方程的推导过程(i=1,2,3……n)时,Y的观察值为
最小二乘法求回归直线方程的推导过程,差
最小二乘法求回归直线方程的推导过程刻画了实际观察值
最小二乘法求回归直线方程的推导过程与回归直线上相应点纵坐标之间的偏离程度,见下图:


最小二乘法求回归直线方程的推导过程

 实际上我们希望这n个离差构成的总离差越小越好,只有如此才能使直线最贴近已知点。换句话说,我们求回归直线方程的过程其实就是求离差最小值的过程。

一个很自然的想法是把各个离差加起来作为总离差。可是,由于离差有正有负,直接相加会互相抵消,如此就无法反映这些数据的贴近程度,即这个总离差不能用n个离差之和来表示,见下图:


最小二乘法求回归直线方程的推导过程

 

一般做法是我们用离差的平方和,即:


最小二乘法求回归直线方程的推导过程

作为总离差 ,并使之达到最小。这样回归直线就是所有直线中Q取最小值的那一条。由于平方又叫二乘方,所以这种使“离差平方和为最小”的方法,叫做
最小二乘法

用最小二乘法求回归直线方程中的a、b的公式如下:


最小二乘法求回归直线方程的推导过程

其中,
最小二乘法求回归直线方程的推导过程
最小二乘法求回归直线方程的推导过程
最小二乘法求回归直线方程的推导过程
最小二乘法求回归直线方程的推导过程的均值,a、b的上方加“
︿”表示是由观察值按最小二乘法求得的估计值,a、b求出后,回归直线方程也就建立起来了。

当然,我们肯定不能满足于直接得到公式,我们只有理解这个公式怎么来的才能记住它,用好它,因此给出上面两个公式的推导过程更加重要。在给出上述公式的推导过程之前,我们先给出推导过程中用到的两个关键变形公式的推导过程。首先是第一个公式:

 
最小二乘法求回归直线方程的推导过程

 

接着是第二个公式:


最小二乘法求回归直线方程的推导过程

 

 基本变形公式准备完毕,我们可以开始最小二乘法求回归直线方程公式的推导了:


最小二乘法求回归直线方程的推导过程


最小二乘法求回归直线方程的推导过程

 

 至此,公式变形部分结束,从最终式子我们可以看到后两项


最小二乘法求回归直线方程的推导过程

与a、b无关,属于常数项,我们只需


最小二乘法求回归直线方程的推导过程

即可得到最小的Q值,因此:


最小二乘法求回归直线方程的推导过程

至此,公式推导完毕。

 

最小二乘法求回归直线方程可用于所有数据分布近似直线的数据统计、分析问题,其用程序实现非常简便,属于基础统计分析算法,必须能够熟练掌握应用。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/145610.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • 八种方式实现跨域请求

    八种方式实现跨域请求前端开发中我们经常会遇到跨域请求的情况,处理跨域请求方式很多,特整理如下:浏览器的同源策略​提到跨域不能不先说一下”同源策略”。​何为同源?只有当协议、端口、和域名都相同的页面,则两个页面具有相同的源。只要网站的协议名protocol、主机host、端口号port这三个中的任意一个不同,网站间的数据请求与传输便构成了跨域调用,会受到同源策略的限制。​同源策略限制从

  • datagrip2021.1激活-激活码分享

    (datagrip2021.1激活)这是一篇idea技术相关文章,由全栈君为大家提供,主要知识点是关于2021JetBrains全家桶永久激活码的内容https://javaforall.cn/100143.htmlIntelliJ2021最新激活注册码,破解教程可免费永久激活,亲测有效,上面是详细链接哦~4D5UJRVIF9-eyJsaWNlb…

  • css 实现水平居中的方法总结

    css 实现水平居中的方法总结

  • securecrt乱码怎么解决(jsp乱码如何解决)

    问题描述SecureCRT与SecureFX的常规选项里面已经设置成了UTF-8,但是在SecureCRT中新建的中文文件夹,在SecureFX里面仍是乱码查看服务器编码查看linux的编码,修改为自己需要的,本文将已UTF-8为例进行说明。修改Linux服务器的配置文件:[root@iitshare~]#vi/etc/sysconfig/i18n如果安装

  • 1024快乐

    1024快乐1024程序员节日快乐转载于:https://www.cnblogs.com/canmeng/p/9842898.html

  • Hostapd简介

    Hostapd简介Hostapd简介hostapd能够使得无线网卡切换为master模式,模拟AP(通常可以认为是路由器)功能,也就是我们说的软AP(SoftAP)。Hostapd的功能就是作为AP的认证服务器,负责控制管理stations(通常可以认为带无线网卡的PC)的接入和认证。通过Hostapd可以将无线网卡切换为AP/Master模式,通过修改配置文件,可以建立一个开放式的(不加…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号