lr模型训练_GBDT模型

lr模型训练_GBDT模型分类模型本质上是线性回归模型优化目标J(θ)=∑−yilog(h(θTxi))−(1−yi)log(1−h(θTxi))J(\theta)=\sum-y_ilog(h(\theta^Tx_i))-(1-y_i)log(1-h(\theta^Tx_i))J(θ)=∑−yi​log(h(θTxi​))−(1−yi​)log(1−h(θTxi​)),最小化其中h(θTx)=11+e−θ…

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE使用 1年只要46元 售后保障 童叟无欺

  • 分类模型
  • 本质上是线性回归模型
    在这里插入图片描述
  • 优化目标
    J ( θ ) = ∑ − y i l o g ( h ( θ T x i ) ) − ( 1 − y i ) l o g ( 1 − h ( θ T x i ) ) J(\theta) = \sum -y_ilog(h(\theta^Tx_i))-(1-y_i)log(1-h(\theta^Tx_i)) J(θ)=yilog(h(θTxi))(1yi)log(1h(θTxi)),最小化
    其中 h ( θ T x ) = 1 1 + e − θ T x h(\theta^Tx) = \frac{1}{1+e^{-\theta^Tx}} h(θTx)=1+eθTx1,是sigmoid函数
    在这里插入图片描述

linear regression和logistic regression都属于广义线性模型,linear regression是将高斯分布放在广义线性模型下推导得到的,logistic regression是将伯努利分布放在广义线性模型下推导得到的,softmax regression是将多项式分布放在广义线性模型下推导得到的。

推导请见:
https://www.zhihu.com/question/35322351/answer/67117244

LR和linear SVM的异同
同:

  1. 都是线性分类器,模型求解的是超平面
  2. 都是监督学习算法
  3. 都是判别模型

异:

  1. 本质上loss function不同,LR采用logistic loss,SVM采用hinge loss

  2. SVM只考虑支持向量,而LR考虑所有数据,因此如果数据strongly unbalanced,一般需要对数据做balance

  3. LR基于概率理论,SVM基于几何间隔最大化原理。因此LR的输出具有概率意义,SVM的输出没有概率意义。

  4. 在解决非线性问题时,SVM采用核函数的机制,LR通常不采用核函数的方法(每个样本点都要参与核计算,计算量太大)

  5. SVM依赖数据表达的距离测度,所以需要对数据进行标准化。不带正则项的LR不受影响,但是使用梯度下降法求解时,为了更好的收敛,最好进行标准化。

  6. SVM自带正则,LR需要添加上正则项

  7. 根据经验来看,对于小规模数据集,SVM的效果要好于LR,但是大数据中,SVM的计算复杂度受到限制,而LR因为训练简单,可以在线训练,所以经常会被大量采用

[1] https://www.cnblogs.com/zhizhan/p/5038747.html
[2] https://www.zhihu.com/question/26768865/answer/34048357
[3]https://blog.csdn.net/haolexiao/article/details/70191667

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/183845.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • 实现yolo3模型训练自己的数据集总结

    实现yolo3模型训练自己的数据集总结   经过两天的努力,借鉴网上众多博客,在自己电脑上实现了使用yolo3模型训练自己的数据集并进行测试图片。本文主要是我根据下面参考文章一步步实施过程的总结,可能没参考文章中那么详细,但是会包含一些参考文章中没提及的容易掉坑的小细节,建议读者结合参考文章一起看,一步步走即可。首先贴出本文主要参考的文章以及代码出处:代码:https://github.com/qqwweee/keras-yo…

  • SQL数据库字符串与时间相互转换「建议收藏」

    SQL数据库字符串与时间相互转换「建议收藏」SQL数据库字符串与时间相互转换,字符串转日期时间格式,日期时间格式转字符串格式。

  • ubuntu安装Microsoft Edge并设置为中文

    ubuntu安装Microsoft Edge并设置为中文1.Linux版本的Edge两种安装方式:下载.deb安装官方下载网址MicrosoftEdgeInsiderChannelssudodpkg-imicrosoft-edge-dev_91.0.864.1-1_amd64.deb命令行安装##Setupcurlhttps://packages.microsoft.com/keys/microsoft.asc|gpg–dearmor>microsoft.gpgsudoinstall-oroo

  • 树莓派3b+串口配置

    树莓派3b+串口配置前言树莓派从大的方向来说一共出了3代,每一代的CPU外设基本相同,但内核不同,外设里面一共包含两个串口,一个称之为硬件串口(/dev/ttyAMA0),一个称之为mini串口(/dev/ttyS0)。硬件串口由硬件实现,有单独的波特率时钟源,性能高、可靠,mini串口性能低,功能也简单,并且没有波特率专用的时钟源而是由CPU内核时钟提供,因此mini串口有个致命的弱点是:波特率受到内核时钟的影响…

  • show contrl e1 解释

    show contrl e1 解释

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号