SVM和logistic regression的一些对比

SVM和logistic regression的一些对比

一、SVM的常用目标函数形式

SVM和logistic regression的一些对比

soft margin svm可表示为:

SVM和logistic regression的一些对比

其中,C表示惩罚系数;C越大,表示对margin越严格,即对不满足约束的样本数要更少;

反之,C越小,表示对margin越宽松,即可接受不满足约束的样本数越多。

例如下图所示:

SVM和logistic regression的一些对比

 

二、SVM和logistic regression的对比

1、对于SVM目标函数的解读

SVM的目标函数与带了L2正则的Model的目标函数很相似,并且具有相同的一些性质。

SVM和logistic regression的一些对比

  SVM和logistic regression的一些对比

 

2、三种常用替代损失函数对比

SVM和logistic regression的一些对比

因此,SVM目标函数中的max(1-ys,0)函数与Logistic regression的目标函数很像;如果给LR加入L2正则化,那么有:

SVM和logistic regression的一些对比

 

三、Probabilistic SVM的实现思路

1、鉴于SVM和加L2正则的LR model很相似出发:

(1)idea1

将soft margin的SVM进行求解,将得到的w,b参数当作LR model的w’,b’的近似解,然后使用sigmoid函数进行概率求解。

优点:直接使用了svm和LR的相似性,实际使用上,较为简单,通常表现还不错。

缺点:实际上几乎丧失了LR model推导中的maximum likelyhood等性质。

SVM和logistic regression的一些对比

 

 

 

 

 

 

 

 

 

 

(2)idea2

 将soft margin的SVM进行求解,将得到的w,b参数当作LR model解的起始点,再进行LR模型的求解。

缺点:效果和单独使用LR model求解差不多,并且对于kernel svm,则无法使用LR model进行近似。

 SVM和logistic regression的一些对比

 

2、采用融合SVM和LR各自优势的思路

(1) 做法

      将SVM求解出来的结果(即求解出w和b)后计算(wx+b)的值value,然后在value上加上两个自由度的操作,即放缩操作A,平移操作B;在A和B两个参数上使用logistic regression进行训练(实际上是把A和B分别当作LR model里的w和b参数来求解),这样可以比较吻合在logistic regression中的maximum likelyhood的需求。

优点:保留了svm原有的性质,包括kernel svm的性质;可以使用LR model获得概率值表示。

几何解释:用SVM 找出分类超平面的法向量,然后不改变法向量,但是在法向量之上再加上一些放缩和平移操作,使其更吻合在logistic regression中的maximum likelyhood的需求。

SVM和logistic regression的一些对比

 

(2) Probabilistic SVM的目标函数:

 SVM和logistic regression的一些对比

 

(3)Probabilistic SVM一般化的求解步骤

SVM和logistic regression的一些对比

 

转载于:https://www.cnblogs.com/xieb1994/p/9886139.html

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/101339.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • 并查集

    并查集

  • 无线网首选dns服务器怎么设置,怎么设置无线路由器dns

    无线网首选dns服务器怎么设置,怎么设置无线路由器dnsDNS在平时上网中扮演重要角色,如果不注意DNS的话,可能会导致网速慢、弹窗广告、网址打不开、打开不是自己想要的网站、劫持等一系列问题,设置好无线路由器的dns尤为重要,下面是学习啦小编整理的设置无线路由器dns的方法,供您参考。设置无线路由器dns的方法首先打开浏览器,然后在网址栏输入192.168.1.1,然后按回车键确认打开,之后就会弹出路由器登录界面。之后输入路由器登录用户名与密码,TP-…

  • silverlight开发教程_手机安装silverlight插件

    silverlight开发教程_手机安装silverlight插件教程地址:http://kb.cnblogs.com/zt/silverlight/

  • 网页幻灯片轮播代码_怎么快速实现对幻灯片的统一修改

    网页幻灯片轮播代码_怎么快速实现对幻灯片的统一修改   NetCMS有两种幻灯片显示方式:Flash幻灯片和轮换幻灯片。Flash幻灯片是通过将图片新闻中的图片合成Flash后再在页面上显示。轮换幻灯片则是使用脚本进行控制(准确地说,是使用VBScript)。   其实,这两种显示形式差不多,只不过Flash幻灯片是通过Flash实现图片的过渡效果,而轮换幻灯片是利用IE提供的Filter属性实现图片过渡效果的。   鉴于轮换幻灯片

  • AES加密算法原理

    AES加密算法原理

  • pycharm中使用anaconda部署python环境_anaconda pycharm环境配置

    pycharm中使用anaconda部署python环境_anaconda pycharm环境配置Pycharm使用anaconda环境(原环境base)注意本教程是针对使用anaconda的新手,添加的是anaconda自带的base环境!首先打开或者新建一个Python项目File->Settings->Project->PythonInterpreter,然后在右边PythonInterpreter看一下又没有anaconde的选项,如果有,就直接选中,然后就可以了,如果没有那就继续看下去.如果没有默认读取anaconda的选项,那

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号