支持向量回归-SVR

支持向量回归-SVR对于一般的回归问题,给定训练样本D={(x1,y1),(x2,y2),…,(xn,yn)},yi€R,我们希望学习到一个f(x)使得,其与y尽可能的接近,w,b是待确定的参数。在这个模型中,只有当发f(x)与y完全相同时,损失才为零,而支持向量回归假设我们能容忍的f(x)与之间最多有ε的偏差,当且仅当f(x)与y的差别绝对值大于ε时,才计算损失,此时相当于以f(x)为中心,构建一个宽度为2ε的

大家好,又见面了,我是你们的朋友全栈君。

对于一般的回归问题,给定训练样本D={(x1,y1),(x2,y2),…,(xn,yn)},yi€R,我们希望学习到一个f(x)使得其与y尽可能的接近,w,b是待确定的参数。在这个模型中,只有当f(x)与y完全相同时,损失才为零,而支持向量回归假设我们能容忍的f(x)与y之间最多有ε的偏差,当且仅当f(x)与y的差别绝对值大于ε时,才计算损失,此时相当于以f(x)为中心,构建一个宽度为2ε的间隔带,若训练样本落入此间隔带,则认为是被预测正确的。(间隔带两侧的松弛程度可有所不同)

支持向量回归-SVR

因此SVR问题可转化为(下式左部是正则化项):

支持向量回归-SVR

l为损失函数

支持向量回归-SVR

因此引入了松弛因子,重写第一个式子为:

支持向量回归-SVR

支持向量回归-SVR

最后引入拉格朗日乘子,可得拉格朗日函数:

支持向量回归-SVR

对四个遍历求偏导,令偏导数为零,可得

支持向量回归-SVR

把上边的式子带入,即可求得SVR的对偶问题

支持向量回归-SVR

上边的过程需要满足KKT条件,即

支持向量回归-SVR

最后,可得SVR的解为

支持向量回归-SVR其中b为

支持向量回归-SVR

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/134989.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号