信息熵、信息增益、条件熵基本概念及联系「建议收藏」

信息熵、信息增益、条件熵基本概念及联系

大家好,又见面了,我是全栈君。

1、 信息熵:H(X) 描述X携带的信息量。 信息量越大(值变化越多),则越不确定,越不容易被预测。

       对于抛硬币问题,每次有2种情况,信息熵为1

       对于投骰子问题,每次有6中情况,信息熵为1.75

       下面为公式:

                 信息熵、信息增益、条件熵基本概念及联系「建议收藏」

  其中log2(p)可以理解为p这个需要用几个bit位表示。如p(x1)=1/2, p(x2)=1/4, p(x3)=1/8, p(x4)=1/8, 

      可以用x1: 1, x2: 10, x3: 110, x4: 111表示,因为为了让平均的bit位最少,概率越大的bit为设的越短。而-log2(p)正好对应bit位数。

      那么H(X)可以理解为比特位的期望值。

 

  信息熵特点:(以概率和为1为前提哈)

  a) 不同类别的概率分布越均匀,信息熵越大;

  b) 类别个数越多,信息熵越大;

  c) 信息熵越大,越不容易被预测;(变化个数多,变化之间区分小,则越不容易被预测)(对于确定性问题,信息熵为0;p=1; E=p*logp=0)

 

2、 信息增益IG(Y|X): 衡量一个属性(x)区分样本(y)的能力。 当新增一个属性(x)时,信息熵H(Y)的变化大小即为信息增益。 IG(Y|X)越大表示x越重要。

     条件熵:H(Y|X),当X条件下Y的信息熵     

           信息熵、信息增益、条件熵基本概念及联系「建议收藏」

     信息增益: IG(Y|X)=H(Y)-H(Y|X)

 

举例:

转载请注明出处: http://www.cnblogs.com/liyuxia713/

转载于:https://my.oschina.net/u/3702502/blog/1601419

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/107784.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号