支持向量回归(SVR)的详细介绍以及推导算法

支持向量回归(SVR)的详细介绍以及推导算法1SVR背景2SVR原理3SVR数学模型SVR的背景SVR做为SVM的分支从而被提出,一张图介绍SVR与SVM的关系这里两虚线之间的几何间隔r=d∣∣W∣∣\frac{d}{||W||}∣∣W∣∣d​,这里的d就为两虚线之间的函数间隔。(一图读懂函数间隔与几何间隔)这里的r就是根据两平行线之间的距离公式求解出来的SVR的原理SVR与一般线性回归的区别SVR一般线性回归1.数据在间隔带内则不计算损失,当且仅当f(x)与y之间的差距的绝对值大于ϵ\

大家好,又见面了,我是你们的朋友全栈君。

1 SVR背景

2 SVR原理

3 SVR数学模型

  1. SVR的背景
    SVR做为SVM的分支从而被提出,一张图介绍SVR与SVM的关系
    SVR与SVM的联系
    这里两虚线之间的几何间隔r= d ∣ ∣ W ∣ ∣ \frac{d}{||W||} Wd,这里的d就为两虚线之间的函数间隔。
    (一图读懂函数间隔与几何间隔)
    在这里插入图片描述
    这里的r就是根据两平行线之间的距离公式求解出来的
    在这里插入图片描述

  2. SVR的原理

SVR与一般线性回归的区别

SVR 一般线性回归
1.数据在间隔带内则不计算损失,当且仅当f(x)与y之间的差距的绝对值大于 ϵ \epsilon ϵ才计算损失 1.只要f(x)与y不相等时,就计算损失
2.通过最大化间隔带的宽度与最小化总损失来优化模型 2.通过梯度下降之后求均值来优化模型

在这里插入图片描述

原理:SVR在线性函数两侧制造了一个“间隔带”,间距为 ϵ \epsilon ϵ(也叫容忍偏差,是一个由人工设定的经验值),对所有落入到间隔带内的样本不计算损失,也就是只有支持向量才会对其函数模型产生影响,最后通过最小化总损失和最大化间隔来得出优化后的模型。

注:这里介绍一下支持向量的含义:直观解释,支持向量就是对最终w,b的计算起到作用的样本(a>0)

如下图所示, “管道”内样本对应a=0,为非支持向量;
位于“管壁”上的为边界支持向量,0<a< ϵ \epsilon ϵ
位于”管道”之外的为非边界支持向量,a> ϵ \epsilon ϵ(异常检测时,常从非边界支持向量中挑选异常点)
在这里插入图片描述

  1. SVR的数学模型

3.1线性硬间隔SVR

在这里插入图片描述
在这里插入图片描述

3.2线性软间隔SVR
原因:在现实任务中,往往很难直接确定合适的 ϵ \epsilon ϵ ,确保大部分数据都能在间隔带内,而SVR希望所有训练数据都在间隔带内,所以加入松弛变量 ξ \xi ξ ,从而使函数的间隔要求变的放松,也就是允许一些样本可以不在间隔带内。
在这里插入图片描述

引入松弛变量后,这个时候,所有的样本数据都满足条件:

在这里插入图片描述

这就是映入松弛变量后的限制条件,所以也叫——-软间隔SVR

注:对于任意样本xi,如果它在隔离带里面或者边缘上, ξ \xi ξ 都为0;在隔离带上方则为 ξ > 0 , ξ ∗ = 0 \xi>0,\xi^*=0 ξ>0,ξ=0
在隔离带下方则为 ξ ∗ > 0 , ξ = 0 \xi^*>0,\xi=0 ξ>0,ξ=0

在这里插入图片描述

在这里插入图片描述

参数推导:
拉格朗日乘子法(可将约束条件变成无约束的的等式方程)

u i ⩾ 0 , u i ∗ ⩾ 0 , a i ⩾ 0 , a i ∗ ⩾ 0 u_i\geqslant0,u^*_i\geqslant0,a_i\geqslant0,a^*_i\geqslant0 ui0,ui0,ai0,ai0为拉格朗日系数
构建拉格朗日函数:
在这里插入图片描述

3.3非线性(映射,核函数)
在这里插入图片描述
启发:提高维度,低维映射到高维(非线性变线性)

之前的SVR低维数据模型是以内积xi*xj的形式出现:
在这里插入图片描述

现定义一个低维到高维的映射 Φ \varPhi Φ: 来替代以前的内积形式:
在这里插入图片描述

在这里插入图片描述
表示映射到高维特征空间之后的内积

映射到高维的问题:
2维可以映射到5维
但当低维是1000映射到超级高的维度时计算机特征的内积
这个时候从低维到高维运算量会爆炸性增长

由于特征空间维数可能很高,甚至是无穷维,因为直接计算 Φ ( x i ) T Φ ( x j ) \varPhi(x_i)^T\varPhi(x_j) Φ(xi)TΦ(xj) 通常是困难的,这里就要设计到核函数

在这里插入图片描述

结果表明:核函数在低维计算的结果与映射到高维之后内积的结果是一样的

主要改变:非线性转化,主要通过改变内积空间替换成另外一个核函数空间而从而转化到另外一个线性空间

在这里插入图片描述

核函数的隆重出场:核函数是对向量内积空间的一个扩展,使得非线性回归的问题,在经过核函数的转换后可以变成一个近似线性回归的问题
在这里插入图片描述

在这里插入图片描述

  1. 实战案例

代更。。。。。。。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/134863.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • 均方误差(MSE)「建议收藏」

    均方误差(MSE)「建议收藏」均方误差单独扽概念是很简单的,这里只做介绍,更深一步的内容会在后面列出来。SSE(和方差、误差平方和):ThesumofsquaresduetoerrorMSE(均方差、方差):MeansquarederrorRMSE(均方根、标准差):Rootmeansquarederror数理统计中均方误差是指参数估计值与参数真值之差平方的期望值,记为MSE。MSE是衡量“…

  • 最新tracker服务器网站_服务器网速测试

    最新tracker服务器网站_服务器网速测试Tracker服务器是对于BT下载必须的,网上随便搜索一下就有很多Tracker服务器列表,一个服务器文件少则几十个,多则上百个,但”杂乱无章”,要不就是用不了,要不就是在中不可用,要不就是重复,真正能用的就比较少了。提供的服务器在中国都ping得通,每24小时自动更新,自动检测,从几个百服务器筛选出在中国可通的服务器列表。[下载中国可用Tracker服务器列表-每24小时更新]提供的服务…

  • 贝叶斯网络分析软件Netica

    贝叶斯网络分析软件Netica贝叶斯网络分析软件Netica使用方法软件介绍Netica软件是由NORSYSsoftwarecorp.出品,是目前世界上应用最广泛的贝叶斯网络分析软件,以简单、可靠、高效的目的开发软件。它是世界上著名的大公司、政府机构作为决策工具,广泛应用于商业、工程、医药和生态分析。软件界面软件打开界面如下,功能栏中很多功能键都是灰色的,此时不能用。左下角的Neticamessages会记录在Netica里面的操作过程。首先进行贝叶斯网络分析,需要构建网络network,方法有3种:File–New

  • SAP Fiori refreshSecurityToken

    SAP Fiori refreshSecurityTokenCreatedbyWang,Jerry,lastmodifiedonMar26,2015要获取更多Jerry的原创文章,请关注公众号”汪子熙”:

    2022年10月27日
  • date函数举例_初中数学基础知识整理

    date函数举例_初中数学基础知识整理Date类型:1.Date.parse()接收一个表示日期的字符串参数,然后再根据这个字符串返回响应的日期的毫秒数;如:创建一个日期:2.Date.UTC():也返回表示日期的毫秒数;但是其参数分别

  • Centos7配置IP地址和DNS

    Centos7配置IP地址和DNS1.配置IP地址终端上输入ifconfig,找出网卡名称进入配置目录,找出对应网卡配置文件cd/etc/sysconfig/network-scripts/ls编辑配置文件vimifcfg-ens33修改成如下信息TYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY=noBOOTPROTO=noneDEFROU…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号