CART算法全称是分类回归算法,(Classification And Regression Tree),他与ID3、C4.5的不同在于:
1、既可以处理分类问题又可以处理回归问题
2、使用基尼系数作为分类依据,比起使用熵计算简单
3、使用的是二分递归分割的技术,生成二叉树
原理不在赘述,基尼系数计算公式:
其中,A表示某一属性,C表示这个属性下共C种特征,Pi表示第i个特征发生的概率
当然,对于公式解释的有点乱,很容易搞混,下面结合实例介绍如何计算:
对于上面的属性,基尼系数计算如上所示。
对于信息增益的计算为:Gain(house) = Entropy(S) – 3/10*Entropy(has)-7/10*Entropy(nothas)
Entropy(S) = -3/10*log(3/10)-7/10*log(7/10)
Entropy(has) = 0
Entropy(nothas) = -3/7*log(3/7)-4/7*log(4/7)
说白了,基尼系数和熵一样,也是衡量一个事件的不确定度。
故节点选择小的基尼系数的属性
对于Python代码,利用sklearn模块通常可以实现,
# 这里不写输入X和Y了,对应的例子有问题,待解决 from sklearn import tree from sklearn.externals.six import StringIO import pydotplus clf = tree.DecisionTreeClassifier(criterion = 'gini')#算法模型 clf = clf.fit(X, Y)#模型训练 dot_data = StringIO() tree.export_graphviz(clf, out_file=dot_data) graph = pydotplus.graph_from_dot_data(dot_data.getvalue()) graph.write_pdf("test.pdf")#写入pdf
基本的程序如上,但是对于CART算法,输入的特征需要是实数,在这里需要进一步研究,有问题,待解决!!!
发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/119482.html原文链接:https://javaforall.cn
【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛
【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...