信息熵、信息增益、条件熵基本概念及联系「建议收藏」

信息熵、信息增益、条件熵基本概念及联系

大家好,又见面了,我是全栈君。

1、 信息熵:H(X) 描述X携带的信息量。 信息量越大(值变化越多),则越不确定,越不容易被预测。

       对于抛硬币问题,每次有2种情况,信息熵为1

       对于投骰子问题,每次有6中情况,信息熵为1.75

       下面为公式:

                 信息熵、信息增益、条件熵基本概念及联系「建议收藏」

  其中log2(p)可以理解为p这个需要用几个bit位表示。如p(x1)=1/2, p(x2)=1/4, p(x3)=1/8, p(x4)=1/8, 

      可以用x1: 1, x2: 10, x3: 110, x4: 111表示,因为为了让平均的bit位最少,概率越大的bit为设的越短。而-log2(p)正好对应bit位数。

      那么H(X)可以理解为比特位的期望值。

 

  信息熵特点:(以概率和为1为前提哈)

  a) 不同类别的概率分布越均匀,信息熵越大;

  b) 类别个数越多,信息熵越大;

  c) 信息熵越大,越不容易被预测;(变化个数多,变化之间区分小,则越不容易被预测)(对于确定性问题,信息熵为0;p=1; E=p*logp=0)

 

2、 信息增益IG(Y|X): 衡量一个属性(x)区分样本(y)的能力。 当新增一个属性(x)时,信息熵H(Y)的变化大小即为信息增益。 IG(Y|X)越大表示x越重要。

     条件熵:H(Y|X),当X条件下Y的信息熵     

           信息熵、信息增益、条件熵基本概念及联系「建议收藏」

     信息增益: IG(Y|X)=H(Y)-H(Y|X)

 

举例:

转载请注明出处: http://www.cnblogs.com/liyuxia713/

转载于:https://my.oschina.net/u/3702502/blog/1601419

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/107784.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • read函数的用法

    read函数的用法原文出自:https://blog.csdn.net/zbk840901528/article/details/7849644非常感谢网友的分享,对本人很有帮助,谢谢!!!read的用法read函数可以读取文件。读取文件指从某一个已打开地文件中,读取一定数量地字符,然后将这些读取的字符放入某一个预存的缓冲区内,供以后使用。使用格式如下:number=read(handle,buff…

  • 友盟多渠道获取渠道名,后台显示市场标识

    友盟多渠道获取渠道名,后台显示市场标识

  • dnslog

    0x00前言我们在盲注的时候,会非常的繁杂,发起大量的请求容易被禁ip。爆数据的时候也比较慢,所以我们需要用到dnslog盲注。0x01dnslog盲注dnslog盲注条件:dnslog&#160

    2021年12月11日
  • 解决numpy.core._exceptions.UFuncTypeError: ufunc ‘add‘ did not contain a loop with signature matchin问题

    解决numpy.core._exceptions.UFuncTypeError: ufunc ‘add‘ did not contain a loop with signature matchin问题

  • 【C/C++】C语言特性总结

    【C/C++】C语言特性总结已经有大约半年的时间没有碰C语言了,当时学习的时候记录了很多的笔记,但是都是特别混乱,后悔那个时候,不懂得写博客,这里凭借记忆和零零散散的笔记记录,尝试系统性地复习一下C语言。之前都是在Windows环境下学习,这次把重心放在Linux环境下,这次的复习源于基础,但是要高于基础。文章目录工具gcc编译器VS2019C语言编译过程C语言代码主体必要内容C语言数据类型关键字常量变量进制表示s…

  • kafka批量删除topic_kafka清空数据

    kafka批量删除topic_kafka清空数据一般情况下,是不会删除数据的。到达一定时间后,kafka会自动删除。如果一定要删除可以删除topic在重建topic了No.1:如果需要被删除topic此时正在被程序produce和consume,则这些生产和消费程序需要停止。因为如果有程序正在生产或者消费该topic,则该topic的offset信息一致会在broker更新。调用kafkadelete命令则无法删除该topi…

    2022年10月17日

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号