最小二乘法原理和推导过程「建议收藏」

最小二乘法原理和推导过程「建议收藏」对于有误差的统计值,我们一般都是采用均值作为使用值。但是这种使用均值代替的方式是不是合理?为什么不用中位数、几何平均数什么的?这需要一个解释。1.什么是二乘?对于一列数字,比如10.1、…

大家好,又见面了,我是你们的朋友全栈君。

对于有误差的统计值,我们一般都是采用均值作为使用值。但是这种使用均值代替的方式是不是合理?为什么不用中位数、几何平均数什么的?这需要一个解释。

1.什么是二乘?

对于一列数字,比如10.1、10.3、9.7、9.9、10.5来说,我们要采用一个数字Y来替代他们。要求是这些数与Y的差异要达到最小。在数学上就是:

最小二乘法原理和推导过程「建议收藏」

但是数学上对于求绝对值比较排斥,一般直接采用求平方代替。也就是二乘的来源

最小二乘法原理和推导过程「建议收藏」

        那么我们要计划使用的值Y就是关于e的一元函数,也就是说不同的Y,对我们的e都有影响,而我们要想e最小,就让Y的偏导数为0,也就是:

最小二乘法原理和推导过程「建议收藏」

    得到Y为:

最小二乘法原理和推导过程「建议收藏」

这样是说最小二乘法得到Y值就是平均数;

2.最小二乘的推广

通过上边的分析,我们可以得出最小二乘法的数学表达式的推广模式:

最小二乘法原理和推导过程「建议收藏」

其中fx是待探索的期望函数,yi表示真实数据。要是函数e最小,则让e对fx的偏导数等于0,如果fx为一个多元函数,那么将其带入。然后分步求导,并让其在各个变量上的偏导数为0,然后得出fx的真实表达式。

3.对于一般线性方程的二乘法学习

我们假设要探索的函数方程为:

最小二乘法原理和推导过程「建议收藏」

那么:

最小二乘法原理和推导过程「建议收藏」

要使得e的值达到最小,已知x和yi,对于k和b来说采用不同的值,e的值会有不同的变化,那么我们使用e对k和b分别求偏导数。

最小二乘法原理和推导过程「建议收藏」

最小二乘法原理和推导过程「建议收藏」

然后计算一下(痛苦的过程,别问我怎么知道使用求和性质的,我是百度的,我也不知道这个东西);

最小二乘法原理和推导过程「建议收藏」

从另外一个角度思考,对于很多数据来说他们肯定落在一个区域内。通过上述分析,最小二乘法能够得出这些点的误差最小点。那么这些点与这个标志点的距离就可以形成一种分布概率密度函数(曲面),那么曲面的顶点对应的映射点按理就是这个标志点。也就是说概率密度函数在该点的偏导数为0,伟大的数学家高斯通过计算证明了这一点,从而奠定了最小二乘法的权威地位。

最小二乘法原理和推导过程「建议收藏」

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/145525.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • 如何获取微信视频号的地址(微信公众号的链接地址)

    通过微信接口获取微信视频号视频地址的方法:首先来看微信视频号信息的XML内容:<?xmlversion=”1.0″?><msg> <appmsgappid=””sdkver=”0″> <title>当前微信版本不支持展示该内容,请升级至最新版本。</title> <des/> <action/> <type>51</type> <showtype&gt

  • phpstorm 激活码【2021.7最新】

    (phpstorm 激活码)这是一篇idea技术相关文章,由全栈君为大家提供,主要知识点是关于2021JetBrains全家桶永久激活码的内容IntelliJ2021最新激活注册码,破解教程可免费永久激活,亲测有效,下面是详细链接哦~https://javaforall.cn/100143.html9ADCNKZL59-eyJsaWN…

  • autoconf 报错

    autoconf 报错报错现象:error:Autoconfversion2.64orhigherisrequired解决办法:查询当前版本:[python]viewplaincopy[root@wslu-cswslu]#rpm-qf/usr/bin/autoconfautoconf-2.63-5.1.el6.noarch卸载当前版本:[python]viewplainco…

  • ROC曲线与AUC

    ROC曲线与AUC对于0,1两类分类问题,一些分类器得到的结果往往不是0,1这样的标签,如神经网络,得到诸如0.5,0,8这样的分类结果.这时,我们人为取一个阈值,比如0.4,那么小于0.4的为0类,大于等于0.4的为1类,可以得到一个分类结果。同样,这个阈值我们可以取0.1,0.2等等。取不同的阈值,得到的最后的分类情况也就不同。阈值不同,可以得到不同的结果,但是由分类器决定的统计图始终是不变的。这时候就需要一个独立与阈值,只与分类器有关的评价指标,来衡量特定分类器的好坏。还有在类不平衡的情况下,如正样本90个,负样本

  • Java连接MySQL mysql-connector-java-bin.jar驱动包的下载与安装

    Java连接MySQL mysql-connector-java-bin.jar驱动包的下载与安装eclipse在连接mysql数据库的时候要通过mysql驱动包进行连接首先进入官网中—-官网地址:https://dev.mysql.com/进入官网中选择DOWNLOADS(下载)2.选择下载中的mysql-connectors3.选择connector/JJ指的是Java4.接下在选择操作系统,此处选择platformindependent(独立于平台)…

  • 计算机网络体系结构综述(上)[通俗易懂]

    计算机网络体系结构综述(上)[通俗易懂]计算机网络体系结构标准的制定使得两台计算机能够像两个知心朋友那样能够互相准确理解对方的意思并做出优雅的回应。本文首先概述了计算机网络体系结构的提出动机,并结合日常生活中的邮政系统介绍了设计的理念,并给出了相关的基本概念和标准。进一步地,我们着重概述了计算机网络体系结构的分层原理及其最重要的组成部分——协议,使得读者能够对计算网路体系结构有一个全新的、系统的认识。

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号