最小二乘法正规方程推导过程

最小二乘法正规方程推导过程最小二乘法正规方程推导过程线性回归岭回归:添加L2L_2L2​正则项输入样本X∈Rm×n\textbf{X}\in\mathbb{R}^{m\timesn}X∈Rm×n,输出y∈Rm×1\textbf{y}\in\mathbb{R}^{m\times1}y∈Rm×1,需要学习的参数w∈Rn×1\textbf{w}\in\mathbb{R}^{n\times1}w∈Rn×1。其中,mmm为样本个数,nnn为单个样本维度。线性回归最小化目标函数J(w)=12∥y−Xw∥22J(\

大家好,又见面了,我是你们的朋友全栈君。

最小二乘法正规方程推导过程

问题描述

输入样本 X ∈ R m × n \textbf{X}\in \mathbb{R}^{m\times n} XRm×n,输出 y ∈ R m × 1 \textbf{y}\in\mathbb{R}^{m\times 1} yRm×1,需要学习的参数 w ∈ R n × 1 \textbf{w}\in \mathbb{R}^{n\times 1} wRn×1。其中, m m m 为样本个数, n n n 为单个样本维度。

线性回归

最小化目标函数
J ( w ) = 1 2 ∥ y − Xw ∥ 2 2 J(\textbf{w}) = \frac{1}{2}\left\Vert\textbf{y}-\textbf{Xw}\right\Vert^2_2 J(w)=21yXw22
有对 w \textbf{w} w 求梯度等于零
∇ J ( w ) = 0 ∇ ( y − Xw ) T ( y − Xw ) = 0 ∇ ( y T y − y T Xw − ( Xw ) T y + ( Xw ) T Xw ) = 0 ∇ ( − 2 w T X T y + w T X T Xw ) = 0 − 2 X T y + ( X T X + ( X T X ) T ) w = 0 − 2 X T y + 2 X T Xw = 0 w = ( X T X ) − 1 X T y \begin{aligned}&\nabla J(\textbf{w})=\textbf{0}\\& \nabla\left(\textbf{y}-\textbf{Xw}\right)^T\left(\textbf{y}-\textbf{Xw}\right)=\textbf{0}\\& \nabla\left(\textbf{y}^T\textbf{y}-\textbf{y}^T\textbf{Xw}-\left(\textbf{Xw}\right)^T\textbf{y}+(\textbf{Xw})^T\textbf{Xw}\right)=\textbf{0}\\& \nabla\left(-2\textbf{w}^T\textbf{X}^T\textbf{y}+\textbf{w}^T\textbf{X}^T\textbf{Xw}\right)=\textbf{0}\\& -2\textbf{X}^T\textbf{y}+\left(\textbf{X}^T\textbf{X}+\left(\textbf{X}^T\textbf{X}\right)^T\right)\textbf{w}=\textbf{0}\\& -2\textbf{X}^T\textbf{y}+2\textbf{X}^T\textbf{X}\textbf{w}=\textbf{0}\\& \textbf{w}=\left(\textbf{X}^T\textbf{X}\right)^{-1}\textbf{X}^T\textbf{y}\end{aligned} J(w)=0(yXw)T(yXw)=0(yTyyTXw(Xw)Ty+(Xw)TXw)=0(2wTXTy+wTXTXw)=02XTy+(XTX+(XTX)T)w=02XTy+2XTXw=0w=(XTX)1XTy

岭回归:添加 L 2 L_2 L2 正则项

最小化目标函数
J ( w ) = 1 2 ∥ y − Xw ∥ 2 2 + λ w T w J(\textbf{w}) = \frac{1}{2}\left\Vert\textbf{y}-\textbf{Xw}\right\Vert^2_2+\lambda\textbf{w}^T\textbf{w} J(w)=21yXw22+λwTw
有对 w \textbf{w} w 求梯度等于零
∇ J ( w ) = 0 ∇ ( y − Xw ) T ( y − Xw ) + λ ∇ w T w = 0 ∇ ( y T y − y T Xw − ( Xw ) T y + ( Xw ) T Xw ) + 2 λ w = 0 ∇ ( − 2 w T X T y + w T X T Xw ) + 2 λ w = 0 − 2 X T y + ( X T X + ( X T X ) T ) w + 2 λ w = 0 − 2 X T y + 2 X T Xw + 2 λ Iw = 0 w = ( X T X + λ I ) − 1 X T y \begin{aligned}&\nabla J(\textbf{w})=\textbf{0}\\& \nabla\left(\textbf{y}-\textbf{Xw}\right)^T\left(\textbf{y}-\textbf{Xw}\right)+\lambda\nabla\textbf{w}^T\textbf{w}=\textbf{0}\\& \nabla\left(\textbf{y}^T\textbf{y}-\textbf{y}^T\textbf{Xw}-\left(\textbf{Xw}\right)^T\textbf{y}+(\textbf{Xw})^T\textbf{Xw}\right)+2\lambda\textbf{w}=\textbf{0}\\& \nabla\left(-2\textbf{w}^T\textbf{X}^T\textbf{y}+\textbf{w}^T\textbf{X}^T\textbf{Xw}\right)+2\lambda\textbf{w}=\textbf{0}\\& -2\textbf{X}^T\textbf{y}+\left(\textbf{X}^T\textbf{X}+\left(\textbf{X}^T\textbf{X}\right)^T\right)\textbf{w}+2\lambda\textbf{w}=\textbf{0}\\& -2\textbf{X}^T\textbf{y}+2\textbf{X}^T\textbf{X}\textbf{w}+2\lambda\textbf{Iw}=\textbf{0}\\& \textbf{w}=\left(\textbf{X}^T\textbf{X}+\lambda\textbf{I}\right)^{-1}\textbf{X}^T\textbf{y}\end{aligned} J(w)=0(yXw)T(yXw)+λwTw=0(yTyyTXw(Xw)Ty+(Xw)TXw)+2λw=0(2wTXTy+wTXTXw)+2λw=02XTy+(XTX+(XTX)T)w+2λw=02XTy+2XTXw+2λIw=0w=(XTX+λI)1XTy

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/145669.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • c语言字符数组初始化的三种方式_c语言赋值字符串

    c语言字符数组初始化的三种方式_c语言赋值字符串C语言中字符数组的初始化与赋值,字符串相关函数!1.字符数组初始化在C语言中,字符串是当做字符数组来处理的;所以字符串有两种声明方式,一种是字符数组,一种是字符指针。(1)直接逐个初始化字符数组:字符数组的初始化,最容易理解的方式就是逐个字符赋给数组中各元素。charstr[10]={‘I’,”,’a’,’m’,”,‘h’,’a’,’p’,’p’…

  • Vuex入门(3)—— getters,mapGetters,…mapGetters详解[通俗易懂]

    Vuex入门(3)—— getters,mapGetters,…mapGetters详解[通俗易懂]Vuex提供了state这样的状态统一管理树,你可以在vue中用computed计算属性接收这些公共状态,以便使用,当然你也可以在接收原值的基础上对这个值做出一些改造,如computed:{sex:function(){returnthis.$store.state.sex+’加个字符串,算是改造’}}但是如果你的其他组件也要使用这…

  • AWVS acunetix_WVS13下载、安装及使用[通俗易懂]

    AWVS acunetix_WVS13下载、安装及使用[通俗易懂]【`11-13版本新功能`】新增多用户登录……

  • linux安装svn服务器的两种方式

    linux安装svn服务器的两种方式操作环境:CentOS7.264位==============第一种:采用压缩包安装:比如你们公司服务器上安装软件有自己的规定,一般会采用压缩包安装。==============第一步:SVN服务器端压缩包下载下载地址:http://mirrors.cnnic.cn/apache/subversion/ 我下载的是subversion-1.8.19版本,下载好的压缩包置于目录/usr/loc…

  • 关于nginx的五大面试题_vue面试题大全

    关于nginx的五大面试题_vue面试题大全1、你近期使用过的Nginx的版本?生产环境使用Stableversion:最新稳定版注意各版本的区别:Nginx官网提供了三个类型的版本1、Mainlineversion:Mainline是Nginx目前主力在做的版本,可以说是开发版2、Stableversion:最新稳定版,生产环境上建议使用的版本3、Legacyversions:遗留的老版本的稳定版2、Nginx…

  • IDEA使用模板自动生成类注释和方法,解决方法注释在接口中或普通类的方法外使用模板注释不带参数的情况

    IDEA使用模板自动生成类注释和方法,解决方法注释在接口中或普通类的方法外使用模板注释不带参数的情况IDEA自动生成类注释和方法注释类注释方法注释类注释按照下方路径打开设置File->Settings->Editor->FileandCodeTemplates->Includes->FileHeaderFileHeader代码/***@author${USER}*@dateCreatedin${DATE}${TIME}*@modifiedBy${USER}in${DATE}${TIME

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号