lr模型训练_GBDT模型

lr模型训练_GBDT模型分类模型本质上是线性回归模型优化目标J(θ)=∑−yilog(h(θTxi))−(1−yi)log(1−h(θTxi))J(\theta)=\sum-y_ilog(h(\theta^Tx_i))-(1-y_i)log(1-h(\theta^Tx_i))J(θ)=∑−yi​log(h(θTxi​))−(1−yi​)log(1−h(θTxi​)),最小化其中h(θTx)=11+e−θ…

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE使用 1年只要46元 售后保障 童叟无欺

  • 分类模型
  • 本质上是线性回归模型
    在这里插入图片描述
  • 优化目标
    J ( θ ) = ∑ − y i l o g ( h ( θ T x i ) ) − ( 1 − y i ) l o g ( 1 − h ( θ T x i ) ) J(\theta) = \sum -y_ilog(h(\theta^Tx_i))-(1-y_i)log(1-h(\theta^Tx_i)) J(θ)=yilog(h(θTxi))(1yi)log(1h(θTxi)),最小化
    其中 h ( θ T x ) = 1 1 + e − θ T x h(\theta^Tx) = \frac{1}{1+e^{-\theta^Tx}} h(θTx)=1+eθTx1,是sigmoid函数
    在这里插入图片描述

linear regression和logistic regression都属于广义线性模型,linear regression是将高斯分布放在广义线性模型下推导得到的,logistic regression是将伯努利分布放在广义线性模型下推导得到的,softmax regression是将多项式分布放在广义线性模型下推导得到的。

推导请见:
https://www.zhihu.com/question/35322351/answer/67117244

LR和linear SVM的异同
同:

  1. 都是线性分类器,模型求解的是超平面
  2. 都是监督学习算法
  3. 都是判别模型

异:

  1. 本质上loss function不同,LR采用logistic loss,SVM采用hinge loss

  2. SVM只考虑支持向量,而LR考虑所有数据,因此如果数据strongly unbalanced,一般需要对数据做balance

  3. LR基于概率理论,SVM基于几何间隔最大化原理。因此LR的输出具有概率意义,SVM的输出没有概率意义。

  4. 在解决非线性问题时,SVM采用核函数的机制,LR通常不采用核函数的方法(每个样本点都要参与核计算,计算量太大)

  5. SVM依赖数据表达的距离测度,所以需要对数据进行标准化。不带正则项的LR不受影响,但是使用梯度下降法求解时,为了更好的收敛,最好进行标准化。

  6. SVM自带正则,LR需要添加上正则项

  7. 根据经验来看,对于小规模数据集,SVM的效果要好于LR,但是大数据中,SVM的计算复杂度受到限制,而LR因为训练简单,可以在线训练,所以经常会被大量采用

[1] https://www.cnblogs.com/zhizhan/p/5038747.html
[2] https://www.zhihu.com/question/26768865/answer/34048357
[3]https://blog.csdn.net/haolexiao/article/details/70191667

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/183845.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • 上帝掷骰子吗–量子物理史话

    上帝掷骰子吗–量子物理史话  上帝掷骰子吗–量子物理史话    第一章黄金时代    一    我们的故事要从1887年的德国开始。位于莱茵河边的卡尔斯鲁厄是一座风景秀丽的城市,在它的城中心,矗立着著名的18世纪的宫殿。郁郁葱葱的森林和温暖的气候也使得这座小城成为了欧洲的一个旅游名胜。然而这些怡人的景色似乎没有分散海因里希?鲁道夫?赫兹(HeinrichRudolfHertz)的注意力:现在他正

  • mysql有关运维的面试题_mysql数据库运维面试题「建议收藏」

    mysql有关运维的面试题_mysql数据库运维面试题「建议收藏」1.登陆数据库(1)单实例mysql-uroot-poldboy(2)多实例mysql-uroot-poldboy-S/data/3306/mysql.sock2.查看数据库版本及当前登录用户是什么mysql>selectversion();查看版本+————+|version()|+————+|5.5.22-log|+——-…

  • c# mvc webGrid 无刷新分页「建议收藏」

    c# mvc webGrid 无刷新分页「建议收藏」参考地址:http://www.dotnetcurry.com/ShowArticle.aspx?ID=618一、webGrid.css.webGrid{margin:4px;border-collapse:collapse;/*width:300px;*/}.header{background-color:#E8E8E8;font-weight:bold;color:#FFF;}.head{

  • 学习双拼必看:双拼输入法的心得以及快速入门办法

    学习双拼必看:双拼输入法的心得以及快速入门办法1.简单介绍一下双拼2.总共18种双拼方案3.15种双拼方案的具体映射4.顺便提一下双拼口诀的事情5.总结不同平台选择的方案双拼(也称双打)是一种建立在拼音输入法基础上的输入方法,可视为全拼的一种改进,它通过将汉语拼音中每个含多个字母的声母或韵母各自映射到某个按键上,使得每个音都可以用两个按键打出,极大地提高了拼音输入法的输入速度。这种声母或韵母到按键的对应表通常称之为双…

  • datagrip 2021.11.4 激活码(JetBrains全家桶)

    (datagrip 2021.11.4 激活码)这是一篇idea技术相关文章,由全栈君为大家提供,主要知识点是关于2021JetBrains全家桶永久激活码的内容IntelliJ2021最新激活注册码,破解教程可免费永久激活,亲测有效,下面是详细链接哦~https://javaforall.cn/100143.html0E14HXZ4QL-eyJsaWN…

  • MySQL死锁产生原因和解决方法

    点击上方“全栈程序员社区”,星标公众号 重磅干货,第一时间送达 作者:王啸tr1912 blog.csdn.net/tr1912/article/details/81668423 …

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号