支持向量回归(SVR)的详细介绍以及推导算法

支持向量回归(SVR)的详细介绍以及推导算法1SVR背景2SVR原理3SVR数学模型SVR的背景SVR做为SVM的分支从而被提出,一张图介绍SVR与SVM的关系这里两虚线之间的几何间隔r=d∣∣W∣∣\frac{d}{||W||}∣∣W∣∣d​,这里的d就为两虚线之间的函数间隔。(一图读懂函数间隔与几何间隔)这里的r就是根据两平行线之间的距离公式求解出来的SVR的原理SVR与一般线性回归的区别SVR一般线性回归1.数据在间隔带内则不计算损失,当且仅当f(x)与y之间的差距的绝对值大于ϵ\

大家好,又见面了,我是你们的朋友全栈君。

1 SVR背景

2 SVR原理

3 SVR数学模型

  1. SVR的背景
    SVR做为SVM的分支从而被提出,一张图介绍SVR与SVM的关系
    SVR与SVM的联系
    这里两虚线之间的几何间隔r= d ∣ ∣ W ∣ ∣ \frac{d}{||W||} Wd,这里的d就为两虚线之间的函数间隔。
    (一图读懂函数间隔与几何间隔)
    在这里插入图片描述
    这里的r就是根据两平行线之间的距离公式求解出来的
    在这里插入图片描述

  2. SVR的原理

SVR与一般线性回归的区别

SVR 一般线性回归
1.数据在间隔带内则不计算损失,当且仅当f(x)与y之间的差距的绝对值大于 ϵ \epsilon ϵ才计算损失 1.只要f(x)与y不相等时,就计算损失
2.通过最大化间隔带的宽度与最小化总损失来优化模型 2.通过梯度下降之后求均值来优化模型

在这里插入图片描述

原理:SVR在线性函数两侧制造了一个“间隔带”,间距为 ϵ \epsilon ϵ(也叫容忍偏差,是一个由人工设定的经验值),对所有落入到间隔带内的样本不计算损失,也就是只有支持向量才会对其函数模型产生影响,最后通过最小化总损失和最大化间隔来得出优化后的模型。

注:这里介绍一下支持向量的含义:直观解释,支持向量就是对最终w,b的计算起到作用的样本(a>0)

如下图所示, “管道”内样本对应a=0,为非支持向量;
位于“管壁”上的为边界支持向量,0<a< ϵ \epsilon ϵ
位于”管道”之外的为非边界支持向量,a> ϵ \epsilon ϵ(异常检测时,常从非边界支持向量中挑选异常点)
在这里插入图片描述

  1. SVR的数学模型

3.1线性硬间隔SVR

在这里插入图片描述
在这里插入图片描述

3.2线性软间隔SVR
原因:在现实任务中,往往很难直接确定合适的 ϵ \epsilon ϵ ,确保大部分数据都能在间隔带内,而SVR希望所有训练数据都在间隔带内,所以加入松弛变量 ξ \xi ξ ,从而使函数的间隔要求变的放松,也就是允许一些样本可以不在间隔带内。
在这里插入图片描述

引入松弛变量后,这个时候,所有的样本数据都满足条件:

在这里插入图片描述

这就是映入松弛变量后的限制条件,所以也叫——-软间隔SVR

注:对于任意样本xi,如果它在隔离带里面或者边缘上, ξ \xi ξ 都为0;在隔离带上方则为 ξ > 0 , ξ ∗ = 0 \xi>0,\xi^*=0 ξ>0,ξ=0
在隔离带下方则为 ξ ∗ > 0 , ξ = 0 \xi^*>0,\xi=0 ξ>0,ξ=0

在这里插入图片描述

在这里插入图片描述

参数推导:
拉格朗日乘子法(可将约束条件变成无约束的的等式方程)

u i ⩾ 0 , u i ∗ ⩾ 0 , a i ⩾ 0 , a i ∗ ⩾ 0 u_i\geqslant0,u^*_i\geqslant0,a_i\geqslant0,a^*_i\geqslant0 ui0,ui0,ai0,ai0为拉格朗日系数
构建拉格朗日函数:
在这里插入图片描述

3.3非线性(映射,核函数)
在这里插入图片描述
启发:提高维度,低维映射到高维(非线性变线性)

之前的SVR低维数据模型是以内积xi*xj的形式出现:
在这里插入图片描述

现定义一个低维到高维的映射 Φ \varPhi Φ: 来替代以前的内积形式:
在这里插入图片描述

在这里插入图片描述
表示映射到高维特征空间之后的内积

映射到高维的问题:
2维可以映射到5维
但当低维是1000映射到超级高的维度时计算机特征的内积
这个时候从低维到高维运算量会爆炸性增长

由于特征空间维数可能很高,甚至是无穷维,因为直接计算 Φ ( x i ) T Φ ( x j ) \varPhi(x_i)^T\varPhi(x_j) Φ(xi)TΦ(xj) 通常是困难的,这里就要设计到核函数

在这里插入图片描述

结果表明:核函数在低维计算的结果与映射到高维之后内积的结果是一样的

主要改变:非线性转化,主要通过改变内积空间替换成另外一个核函数空间而从而转化到另外一个线性空间

在这里插入图片描述

核函数的隆重出场:核函数是对向量内积空间的一个扩展,使得非线性回归的问题,在经过核函数的转换后可以变成一个近似线性回归的问题
在这里插入图片描述

在这里插入图片描述

  1. 实战案例

代更。。。。。。。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/134863.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • kernelprocessorpower警告_kernel thread priority floor

    kernelprocessorpower警告_kernel thread priority floorechoworkqueue:workqueue_queue_work&gt;/sys/kernel/debug/tracing/set_eventcat/sys/kernel/debug/tracing/trace_pipe&gt;/data/trace_pipe.log

  • 提升VMware虚拟机性能招数

    在VMware虚拟机(VMwareWorkstation或VMwareServer)中我们可以同时运行多个GuestOS,当同时在同一HostOS中运行多台虚拟机时势必会严重影响到HostO

    2021年12月24日
  • 采用ToolRunner执行Hadoop基本面分析程序

    采用ToolRunner执行Hadoop基本面分析程序

  • 企业微信机器人发送消息[通俗易懂]

    企业微信机器人发送消息[通俗易懂]背景:之前用钉钉机器人可以发送消息,可以将线上的告警通知发送到消息群中,后来企业微信也支持在群组中增加机器人了,钉钉和企业微信机器人的使用很相似,都是使用webhook的方式来进行实现的,话不多说,咱们先配置机器人,然后再上代码。1.在企业微信的聊天群中增加机器人注意:目前只能在聊天群中添加机器人,所以我当时的做法是,先拉一个同事进群,然后再让他退群,具体步骤如下…

  • Java-MD5加密[通俗易懂]

    Java-MD5加密[通俗易懂]密码全是明文,防止内部人员监守自盗,改成暗文密码加密一般使用MD5加密特点:一旦加密之后,就不可解密光是MD5加密还不够安全,这时候就要添加盐值:盐值作用:让你的密码更加安全,MD5:支持加密次数MD5加密三个概念:MD5常规加密,为了让你的密码更加安全,MD5加密还要加盐值,为了让你的密码超级安全,它支持加密次数MD5Utils.encrypByMd5(String类型的密码)就执行加密importjava.security.MessageDigest;impo

  • lunix常用命令「建议收藏」

    lunix常用命令「建议收藏」文件管理命令ls      显示文件或目录   -l     列出文件详细信息l(list)   -a     列出当前目录下所有文件及目录,包括隐藏的a(all)mkdir    创建目录   -p     创建目录,若无父目录,则创建p(parent)cd   

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号