大家好,又见面了,我是全栈君。
1、 信息熵:H(X) 描述X携带的信息量。 信息量越大(值变化越多),则越不确定,越不容易被预测。
对于抛硬币问题,每次有2种情况,信息熵为1
对于投骰子问题,每次有6中情况,信息熵为1.75
下面为公式:
其中log2(p)可以理解为p这个需要用几个bit位表示。如p(x1)=1/2, p(x2)=1/4, p(x3)=1/8, p(x4)=1/8,
可以用x1: 1, x2: 10, x3: 110, x4: 111表示,因为为了让平均的bit位最少,概率越大的bit为设的越短。而-log2(p)正好对应bit位数。
那么H(X)可以理解为比特位的期望值。
信息熵特点:(以概率和为1为前提哈)
a) 不同类别的概率分布越均匀,信息熵越大;
b) 类别个数越多,信息熵越大;
c) 信息熵越大,越不容易被预测;(变化个数多,变化之间区分小,则越不容易被预测)(对于确定性问题,信息熵为0;p=1; E=p*logp=0)
2、 信息增益IG(Y|X): 衡量一个属性(x)区分样本(y)的能力。 当新增一个属性(x)时,信息熵H(Y)的变化大小即为信息增益。 IG(Y|X)越大表示x越重要。
条件熵:H(Y|X),当X条件下Y的信息熵
信息增益: IG(Y|X)=H(Y)-H(Y|X)
举例:
转载请注明出处: http://www.cnblogs.com/liyuxia713/
转载于:https://my.oschina.net/u/3702502/blog/1601419
发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/107784.html原文链接:https://javaforall.cn
【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛
【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...