SVM和logistic regression的一些对比

SVM和logistic regression的一些对比

一、SVM的常用目标函数形式

SVM和logistic regression的一些对比

soft margin svm可表示为:

SVM和logistic regression的一些对比

其中,C表示惩罚系数;C越大,表示对margin越严格,即对不满足约束的样本数要更少;

反之,C越小,表示对margin越宽松,即可接受不满足约束的样本数越多。

例如下图所示:

SVM和logistic regression的一些对比

 

二、SVM和logistic regression的对比

1、对于SVM目标函数的解读

SVM的目标函数与带了L2正则的Model的目标函数很相似,并且具有相同的一些性质。

SVM和logistic regression的一些对比

  SVM和logistic regression的一些对比

 

2、三种常用替代损失函数对比

SVM和logistic regression的一些对比

因此,SVM目标函数中的max(1-ys,0)函数与Logistic regression的目标函数很像;如果给LR加入L2正则化,那么有:

SVM和logistic regression的一些对比

 

三、Probabilistic SVM的实现思路

1、鉴于SVM和加L2正则的LR model很相似出发:

(1)idea1

将soft margin的SVM进行求解,将得到的w,b参数当作LR model的w’,b’的近似解,然后使用sigmoid函数进行概率求解。

优点:直接使用了svm和LR的相似性,实际使用上,较为简单,通常表现还不错。

缺点:实际上几乎丧失了LR model推导中的maximum likelyhood等性质。

SVM和logistic regression的一些对比

 

 

 

 

 

 

 

 

 

 

(2)idea2

 将soft margin的SVM进行求解,将得到的w,b参数当作LR model解的起始点,再进行LR模型的求解。

缺点:效果和单独使用LR model求解差不多,并且对于kernel svm,则无法使用LR model进行近似。

 SVM和logistic regression的一些对比

 

2、采用融合SVM和LR各自优势的思路

(1) 做法

      将SVM求解出来的结果(即求解出w和b)后计算(wx+b)的值value,然后在value上加上两个自由度的操作,即放缩操作A,平移操作B;在A和B两个参数上使用logistic regression进行训练(实际上是把A和B分别当作LR model里的w和b参数来求解),这样可以比较吻合在logistic regression中的maximum likelyhood的需求。

优点:保留了svm原有的性质,包括kernel svm的性质;可以使用LR model获得概率值表示。

几何解释:用SVM 找出分类超平面的法向量,然后不改变法向量,但是在法向量之上再加上一些放缩和平移操作,使其更吻合在logistic regression中的maximum likelyhood的需求。

SVM和logistic regression的一些对比

 

(2) Probabilistic SVM的目标函数:

 SVM和logistic regression的一些对比

 

(3)Probabilistic SVM一般化的求解步骤

SVM和logistic regression的一些对比

 

转载于:https://www.cnblogs.com/xieb1994/p/9886139.html

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/101339.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • linux tomcat自动重启(linux重启服务命令)

    在Linux系统下,重启Tomcat使用命令操作的!首先,进入Tomcat下的bin目录cd/usr/local/tomcat/bin使用Tomcat关闭命令./shutdown.sh查看Tomcat是否以关闭ps-ef|grepjava如果显示以下相似信息,说明Tomcat还没有关闭root1297610Sep01?00:10:22/u…

  • bapi sap 创建物料_bapi 物料主数据创建 ‘BAPI_MATERIAL_SAVEDATA’「建议收藏」

    bapi sap 创建物料_bapi 物料主数据创建 ‘BAPI_MATERIAL_SAVEDATA’「建议收藏」CALLFUNCTION’BAPI_MATERIAL_SAVEDATA’2.物料信息的获取bapi:BAPI_MATERIAL_GET_DETAILReportZMMPL001*&*&———————————————————————**&*&*&——…

  • oracle创建表设置主键自增_sql如何设置自增

    oracle创建表设置主键自增_sql如何设置自增CREATETABLEdatau_excel_audit_user(idnumber(11)primarykey,audit_nameVARCHAR2(20),iphoneVARCHAR2(11),create_dateDATE,update_dateDATE);COMMENTONTABLEdatau_excel_audit_userIS’审批人管理’;COMMENTONCOLUMNdatau_excel_audit_user.id..

    2022年10月16日
  • java锁cas(java锁的实现原理)

    一、Java锁1.常见的锁有synchronized和Lock()①synchronized是jvm层面实现的,可以直接用,不过要锁住某个对象;lock是属于j.u.c包下的接口,用的时候要实现lock接口。②synchronized一般和wait()、notify()、notifyAll()一起使用,使用完不用释放锁;lock必须在finally里面手动释放。@lock锁与s…

  • 韩顺平 2021零基础学Java 学习笔记(1)(自用)[通俗易懂]

    韩顺平 2021零基础学Java 学习笔记(1)(自用)[通俗易懂]目录第2章Java概述第3章变量第4章运算符第5章程序控制结构第6章数组、排序和查找第7章面向对象编程(基础部分)第8章面向对象编程(中级部分)第2章Java概述2.1Java重要特点Java语言是面向对象的(oop)Java语言是健壮的。Java的强类型机制、异常处理、垃圾的自动收集等是Java程序健壮性的重要保证Java语言是跨平台性的。[即:一个编译好的.class文件可以在多个系统下运行,这种特性称为跨平台]Jav

    2022年10月10日
  • DSP FPGA_fpga oddr

    DSP FPGA_fpga oddr序曲:今年(2021年)7月4日至24日,我指导电子信息工程专业18级的12位同学进行小学期的课程实践。多年以来,我一直想鼓励同学们基于国产的FPGA进行设计和实践,今年终于进行了大胆的尝试。为了课程实践顺利进行,我和12位同学提前了近2个月进行准备。从5月17日(周一)早晨8:00第一次讨论会开始,我和12位同学每周都坚持查阅、学习国内FPGA的资料,每周开讨论会研讨学习进展。研讨会辗转于海空学院会议室、控制学院会议室、新图书馆研讨室……由于同学们课多且分散,同时我的其他…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号