机器学习:Multinoulli分布与多项式分布

机器学习:Multinoulli分布与多项式分布学习深度学习时遇见multinoulli分布,在此总结一下机器学习中常用的multinoulli分布与多项式分布之间的区别于关系,以便更好的理解其在机器学习和深度学习中的使用。首先介绍一下其他相关知识。Bernoulli分布(两点分布)Bernoulli分布是单个二值随机变量的分布。它由单个参数控制,给出了随机变量等于1的概率。             …

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

学习深度学习时遇见multinoulli分布,在此总结一下机器学习中常用的multinoulli分布与多项式分布之间的区别于关系,以便更好的理解其在机器学习和深度学习中的使用。

首先介绍一下其他相关知识。

Bernoulli分布 (两点分布)

Bernoulli分布是单个二值随机变量的分布x\in \left \{ 0,1 \right \}。它由单个参数\mu \in \left [ 0,1 \right ]控制,\phi给出了随机变量等于1的概率。

                   P(X=1)=\mu

                   P(X=0)=1-\mu

                   P(X=x|\mu )=\mu ^{x}(1-\mu )^{1-x}

                   E[X]=\mu

                   Var[X]=\mu(1-\mu)

二项分布(n重Bernoulli分布)

二项分布(binomial distribution)用以描述N次独立的伯努利实验中有m次成功(即x=1)的概率,其中每次伯努利实验成功的概率为\mu \in \left [ 0,1 \right ]

                  P(m|N,u)=\binom{N}{m}\mu ^{m}(1-\mu )^{N-m}

                  E[X]=N\mu

                   Var[X]=N\mu(1-\mu)

多项分布

若将伯努利分布由单变量扩展为d维向量x,其中x_{i} = \left \{ 0,1 \right \}\sum_{i=1}^{d}x_{i}=1,并假设x_{i}取1的概率为\mu_{i} \in \left [ 0,1 \right ],\sum_{i=1}^{d}\mu_{i}=1,则将得到离散概率分布

                P(x|\mu )=\prod_{i=1}^{d}\mu_{i}^{x^{i}}

                E[X_{i}]=\mu_{i}

                Var[X_{i}]=\mu_{i}(1-\mu)_{i}

在此基础上扩展二项分布则得到多项分布(nultinomial distribution),它描述了在N次独立实验中有m_{i}x_{i}=1的概率。 

               P(m_{1},...,m_{d}|N,\mu )=\frac{N!}{m_{1}!...m_{d}!}\prod_{i=1}^{d}\mu_{i}^{m_{i}} 

multinoulli分布(范畴分布、分类分布(categotical distribution))

mutinoulli分布是指在具有k个不同状态的单个离散型随机变量上的分布,其中k是一个有限值。 mutinoulli分布由分布向量p\in \left [ 0,1 \right ]^{k-1}参数化,其中每一个分量p_{i}表示第i个状态的概率。最后的第k个状态的概率可以通过1-1^{T}p给出。注意我们必须限制1^{T}p\leq 1。mutinoulli分布经常用来表示对象分类的分布,所以我们很少假设状态1具有数值1之类的。因此我们通常不需要去计算mutinoulli分布的随机变量的期望和方差。

mutinoulli分布是多项式分布的一个特例。多项式分布是\left \{ 0,...,n \right \}^{k}中的向量的分布,用于表示当对mutinoulli分布采样n次时k个类中的每一个被访问的次数。很多文章使用“多项式分布”而实际上说的是mutinoulli分布,但是他们并没有说是对n=1(一次实验)的情况,这点需要注意。大概意思就是说multinouli分布进行一次实验,得到了各个状态k的概率分布p,多项分布是重复对multinoulli分布进行n次采样实验,看k个类中每一个被采样到的次数。我觉得很像bernoulli分布与二项分布的关系。(大家有不同想法的可以留言讨论!)

参考文献:

《概率论与数理统计》韩旭里,谢永钦

《机器学习》周志华

《深度学习》Ian GoodFellow

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/182944.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • 解惑3:时间频度,算法时间复杂度[通俗易懂]

    解惑3:时间频度,算法时间复杂度[通俗易懂]一、概述先放百科上的说法:算法的时间复杂度(Timecomplexity)是一个函数,它定性描述该算法的运行时间。这是一个代表算法输入值的字符串的长度的函数。时间复杂度常用大O符号表述,不包括

  • 全错位排列组合公式_无顺序排列组合公式

    全错位排列组合公式_无顺序排列组合公式不容易系列之一ProblemDescription大家常常感慨,要做好一件事情真的不容易,确实,失败比成功容易多了!做好“一件”事情尚且不易,若想永远成功而总从不失败,那更是难上加难了,就像花钱总是

  • IJ快捷键

    IJ快捷键ctrl+shift+alt:多行操作psvm:生成main()方法;fori:生成for循环;Ctrl+Alt+v:自动补齐返回值类型ctrl+o:覆写方法ctrl+i:实现接口中的方法ctrl+shift+u:大小写转换CTRL+SHIFT+Z:取消撤销Alt+Insert:生成构造方法、getter、setterctrl+y:删除当前行Ctrl+Shift+J:将选中的行合并成一行ctrl+g:定位到某一行Ctrl+Shitft+向下箭头:将光标所在的代码块向下整体移动Ct.

  • springBoot笔记(一)「建议收藏」

    springBoot笔记(一)「建议收藏」1、直接在application.properties中写端口 server.port=8081server.servlet.context-path=/luck2、在resources包下创建application.yml 将配置文件写在里面 server: port: 8082 servlet: context-path: /lu…

  • elasticSearch字段类型大全

    elasticSearch字段类型大全ES字段类型核心数据类型String类型:text、keyworknumber类型:long,integer,short,byte,double,float,half_float,scaled_floatdate类型:dateboolean类型:booleanbinary类型:binaryrange类型:integer_range,float_range,long_range,double_range,date_range复杂数据类型对象数据类型:object用

  • PTA 列车调度 python

    PTA 列车调度 python火车调度PTApython实现两端分别是一条入口(Entrance)轨道和一条出口(Exit)轨道,它们之间有N条平行的轨道。每趟列车从入口可以选择任意一条轨道进入,最后从出口离开。在图中有9趟列车,在入口处按照{8,4,2,5,3,9,1,6,7}的顺序排队等待进入。如果要求它们必须按序号递减的顺序从出口离开,则至少需要多少条平行铁轨用于调度?

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号