GBDT算法

GBDT算法

GBDT通过多轮迭代,每轮迭代产生一个弱分类器,其中弱分类器通常选择为CART树,每个分类器在上一轮分类器的残差基础上进行训练。

对于GBDT算法,其中重要的知识点为:

1、GBDT是梯度下降法从参数空间上升到函数空间的算法

2、其属于集成算法Boosting

3、损失函数的构造

 

一、GBDT损失函数

  下面对于其损失函数做简单的讲解:

  GBDT的模型如下,其中T表示每棵树,总共集成了M颗。

 <span>GBDT算法</span>

  其损失函数表示:

<span>GBDT算法</span>

  对于其中的L函数该如何选择,也就是关系到GBDT的损失函数构造问题了。一般来说,对于分类问题,选择对数损失;对于回归问题,选择最小二乘损失。

二、梯度下降

  GBDT是梯度下降法从参数空间上升到函数空间的算法,也就是说,他的梯度求导,是关于树函数的。这也很好理解,通常我们求决策树的损失函数,是为了评价树的质量,而不是根据损失函数求参数,因为树的构造不需要损失函数,直接通过信息增益、信息增益率、基尼系数等构造的。但是N颗树该如何构造,也就是说每棵树需要达到什么样的效果对于GBDT的损失函数最小,这才是其梯度下降需要关注的。

 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/119450.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • 到底什么是集群&分布式

    到底什么是集群&分布式

    2020年11月12日
  • WPF Visifire使用

    WPF Visifire使用引言:  由于项目中需要使用Visifire所以自己就写了一些demo,大家一起共享!基础Visifire图表的展示1.Visifire的创建需要引用的DLL包【WPFToolkit.dll;WPFVisifire.Charts;WPFVisifire.Gauges(这个以后会用到)】2.我们开始创建简单的Visifire图表第一步:前台代码

  • 几种滤波算法,总结一下

    几种滤波算法,总结一下最近在做武术擂台,发现对于红外测距传感器的返回值速度很快,但是误差值很大,经过简单函数调校之后,发现还是有误差,有干扰数据,于是导入了math.h,进行的绝对值滤波,但是用循环暂存了十组数据,进行简单的加权算法,发现还是不行,于是去找了一些经典的滤波算法,算是简单记录一下。分享给大家。1、限幅滤波法(又称程序判断滤波法)A、方法:根据经验判断,确定两次采样允许…

  • 【ios客户端渗透测试】测试机越狱和屏蔽越狱检测

    【ios客户端渗透测试】测试机越狱和屏蔽越狱检测文章目录概述安装越狱工具爱思助手一键越狱(未成功)xx概述测试机版本:iPhone8/14.3。越狱工具:unc0ver8.0.2据说unc0ver重启后需要重新越狱。(仅需在手机上操作)安装越狱工具访问unc0ver官网,下载最新版本8.0.2。ios不能安装没有进行安全签名的应用,所以尝试使用爱思助手直接安装unc0ver8.0.2失败,提示“设备未安装AppSync越狱补丁”。爱思助手一键越狱(未成功)使用爱思助手一键越狱,根据提示登录AppleID进行签

  • python解析json文件并提取_python读取文件并判断

    python解析json文件并提取_python读取文件并判断使用python读取json和大数据量的json.gz文件

  • 快速排序Java实现_快速排序实现java

    快速排序Java实现_快速排序实现java高快省的排序算法有没有既不浪费空间又可以快一点的排序算法呢?那就是“快速排序”啦!光听这个名字是不是就觉得很高端呢。假设我们现在对“61279345108”这个10个数进行排序。首先在这个序列中随便找一个数作为基准数(不要被这个名词吓到了,就是一个用来参照的数,待会你就知道它用来做啥的了)。为了方便,就让第一个数6作为基准数吧。接下来,需要将这个序列中所有比基准数大的数放…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号