大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。
Jetbrains全系列IDE稳定放心使用
学习深度学习时遇见multinoulli分布,在此总结一下机器学习中常用的multinoulli分布与多项式分布之间的区别于关系,以便更好的理解其在机器学习和深度学习中的使用。
首先介绍一下其他相关知识。
Bernoulli分布 (两点分布)
Bernoulli分布是单个二值随机变量的分布。它由单个参数控制,给出了随机变量等于1的概率。
二项分布(n重Bernoulli分布)
二项分布(binomial distribution)用以描述N次独立的伯努利实验中有m次成功(即x=1)的概率,其中每次伯努利实验成功的概率为。
多项分布
若将伯努利分布由单变量扩展为d维向量,其中且,并假设取1的概率为,,则将得到离散概率分布
在此基础上扩展二项分布则得到多项分布(nultinomial distribution),它描述了在N次独立实验中有次的概率。
multinoulli分布(范畴分布、分类分布(categotical distribution))
mutinoulli分布是指在具有k个不同状态的单个离散型随机变量上的分布,其中k是一个有限值。 mutinoulli分布由分布向量参数化,其中每一个分量表示第i个状态的概率。最后的第k个状态的概率可以通过给出。注意我们必须限制。mutinoulli分布经常用来表示对象分类的分布,所以我们很少假设状态1具有数值1之类的。因此我们通常不需要去计算mutinoulli分布的随机变量的期望和方差。
mutinoulli分布是多项式分布的一个特例。多项式分布是中的向量的分布,用于表示当对mutinoulli分布采样n次时k个类中的每一个被访问的次数。很多文章使用“多项式分布”而实际上说的是mutinoulli分布,但是他们并没有说是对(一次实验)的情况,这点需要注意。大概意思就是说multinouli分布进行一次实验,得到了各个状态k的概率分布p,多项分布是重复对multinoulli分布进行n次采样实验,看k个类中每一个被采样到的次数。我觉得很像bernoulli分布与二项分布的关系。(大家有不同想法的可以留言讨论!)
参考文献:
《概率论与数理统计》韩旭里,谢永钦
《机器学习》周志华
《深度学习》Ian GoodFellow
发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/182944.html原文链接:https://javaforall.cn
【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛
【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...