瑞利熵与香农熵_熵 信息

瑞利熵与香农熵_熵 信息在信息论中,Rényi熵是Hartley熵,Shannon熵,碰撞熵和最小熵的推广。熵能量化了系统的多样性,不确定性或随机性。Rényi熵以AlfrédRény

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE使用 1年只要46元 售后保障 童叟无欺

信息论中Rényi熵是Hartley熵Shannon熵碰撞熵最小熵的推广。熵能量化了系统的多样性,不确定性或随机性。Rényi熵以AlfrédRényi命名。在分形维数估计的背景下,Rényi熵构成了广义维数概念的基础。

Rényi熵在生态学和统计学中是重要的多样性指标。Rényi熵在量子信息中也很重要,它可以用来衡量纠缠。在Heisenberg XY自旋链模型中,作为α的函数的Rényi熵可以由于它是关于模数群的特定子群的自守函数而被明确地计算。在理论计算机科学中,最小熵用于随机抽取器的情况下。

定义:

含参数α的瑞丽熵其中α≥0和α≠1,被定义为

H {\ alpha}(X)= {\ frac {1} {1- \ alpha}} \ log {\ Bigg(} \ sum _ {i = 1} ^ {n} p_ {i} ^ {\ alpha} {\ Bigg)}

这里,X是一个具有可能结果的离散随机变量1,2,3,…..,n和相应的概率p_ {i} \ doteq \ Pr(X = i)对于i=1,2,….n,而对数基数为2.如果概率是P_ {I} = 1 / n的对全部i=1,…..,n,那么分配的所有瑞丽熵都是相等的:H _ {\ alpha}(X)= \ log n

一般来说,对于所有的离散随机变量X,H _ {\ alpha}(X)是一个带有α的非递增函数。

经常可见瑞丽熵和概率向量的p-范数之间的关系:

H _ {\ alpha}(X)= {\ frac {\ alpha} {1- \ alpha}} \ log \ left(\ | P \ | _ {\ alpha} \ right)

在这里,离散的概率分布P=(p1,……..,pn)被解释为一个向量Rn,同时pi≥0和Σpi=1

瑞丽熵中α≥0

特例

哈特利或最大熵:H_ {0}(X)= \ log n = \ log | X |。\,
香农熵:H_ {1}(X)= - \ sum_ {i = 1} ^ {n} p_ {i} \ log p_ {i}。

碰撞熵,有时被称为“Rényi熵”,是指α = 2 的情况,

H_ {2}(X)= - \ log \ sum _ {i = 1} ^ {n} p_ {i} ^ {2} = - \ log P(X = Y)

其中,XY ^独立同分布的

最小熵:

在极限中 H _ {\ alpha}收敛到最小熵 H _ {\ infty}

(i)( - \ log p_ {i})= - (\ max _ {i} \ log p_ {i})= - \ log \ max _ {i } P_ {I} \ ,.

参考文献:https://en.wikipedia.org/wiki/R%C3%A9nyi_entropy

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/168293.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • offset宏定义_vba offset 用法

    offset宏定义_vba offset 用法C语言面试的时候可能会考,这样的宏定义:#defineoffsetof(TYPE,MEMBER)((size_t)&((TYPE*)0)->MEMBER)函数作用:计算结构体成员的偏移,有些自有代码里也会手写这样的代码,实际上这个函数是标准实现的。实际上如果我们浏览ANSIC编译器的标头文件,将在stddef.h中遇到这样奇怪的宏。这个红具有可怕的声明。此…

  • hashmap和hashtable和hashset的区别_反映和反应的区别

    hashmap和hashtable和hashset的区别_反映和反应的区别HashMap与Hashtable的区别是面试中经常遇到的一个问题。这个问题看似简单,但如果深究进去,也能了解到不少知识。本文对两者从来源,特性,算法等多个方面进行对比总结。力争多角度,全方位的展示二者的不同,做到此问题的终结版。作者Hashtable的作者:HashMap的作者:HashMap的作者比Hashtable的作者多了著名顶顶的并发大神DougLea。他写了util…

  • node.js 常用命令「建议收藏」

    node.js 常用命令「建议收藏」​​​​废话不多说,直接开干????基础命令,npm的一些重要命令,拿到就是赚到,有赞必回

  • IIC总线协议详解[通俗易懂]

    转自:https://www.cnblogs.com/aaronLinux/p/6218660.html1 I2C总线物理拓扑结构     I2C总线在物理连接上非常简单,分别由SDA(串行数据线)和SCL(串行时钟线)及上拉电阻组成。通信原理是通过对SCL和SDA线高低电平时序的控制,来产生I2C总线协议所需要的信号进行数据的传递。在总线空闲状态时,这两根线一般被上面所接的上拉电阻…

  • Android之ViewStub的简单使用

    Android之ViewStub的简单使用1.viewstub就是动态加载试图;也就是在我们的app启动绘制页面的时候,他不会绘制到view树中;当在代码中执行inflate操作后,她才会被添加到试图中。其实ViewStub就是一个宽高都为0的一个View,它默认是不可见的,只有通过调用setVisibility函数或者Inflate函数才会将其要装载的目标布局给加载出来,从而达到延迟加载的效果,这个要被加载的布局通过android:l…

  • expdp / impdp 用法详解[通俗易懂]

    expdp / impdp 用法详解[通俗易懂]一、注意事项:EXP和IMP是客户端工具程序,它们既可以在客户端使用,也可以在服务端使用。EXPDP和IMPDP是服务端的工具程序,他们只能在ORACLE服务端使用,不能在客户端使用。IMP只适用于EXP导出的文件,不适用于EXPDP导出文件;IMPDP只适用于EXPDP导出的文件,而不适用于EXP导出文件。二、使用expdp导出文件前的设置:1、创建逻辑目录,该命令不会在操作系统…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号