最大似然估计的分布函数_二项分布的最大似然估计值怎么求

最大似然估计的分布函数_二项分布的最大似然估计值怎么求原因今天晚上,老师在看LDA数学八卦的时候,问我一个问题,如下图所示:这个多项式分布的参数,采用极大估计是怎么求的呢?当时想了想还真不知道,于是在网上找了资料,学习了一下,特此记录。公式推导很多情况下,假定一个变量XX有kk个状态,其中k>2k>2,每个状态假定的可能性为p1,p2,⋯,pkp_{1},p_{2},\cdots,p_{k},且∑ki=1pi=1\sum_{i=1}

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

本文作者:合肥工业大学 管理学院 钱洋 email:1563178220@qq.com 内容可能有不到之处,欢迎交流。

未经本人允许禁止转载
#原因
今天晚上,老师在看LDA数学八卦的时候,问我一个问题,如下图所示:

这里写图片描述

这个多项式分布的参数,采用极大估计是怎么求的呢?当时想了想还真不知道,于是在网上找了资料,学习了一下,特此记录。

#公式推导
很多情况下,假定一个变量 X X X k k k个状态,其中 k > 2 k>2 k>2,每个状态假定的可能性为 p 1 , p 2 , ⋯   , p k p_{1},p_{2},\cdots ,p_{k} p1,p2,,pk,且 ∑ i = 1 k p i = 1 \sum _{i=1}^{k}p_{i}=1 i=1kpi=1,独立进行 n n n次实验,用 n 1 , n 2 , ⋯   , n k n_{1},n_{2},\cdots ,n_{k} n1,n2,,nk表示每个状态发生的次数,发生的次数服从多项式分布:
p ( n 1 , n 2 , ⋯   , n k ∣ p 1 , p 2 , ⋯   , p k ) = n ! ∏ i = 1 k n i ! ∏ i = 1 k p i n i p\left ( n_{1},n_{2},\cdots ,n_{k}|p_{1},p_{2},\cdots ,p_{k} \right )=\frac{n!}{\prod _{i=1}^{k}n_{i}!}\prod _{i=1}^{k}p_{i}^{n_{i}} p(n1,n2,,nkp1,p2,,pk)=i=1kni!n!i=1kpini

下面采用极大似然求解:

L ( p 1 , p 2 , ⋯   , p k ) = l o g ( n ! ∏ i = 1 k n i ! ∏ i = 1 k p i n i ) L\left ( p_{1},p_{2},\cdots ,p_{k} \right )=log\left (\frac{n!}{\prod _{i=1}^{k}n_{i}!}\prod _{i=1}^{k}p_{i}^{n_{i}} \right ) L(p1,p2,,pk)=log(i=1kni!n!i=1kpini)
= l o g ( n ! ) − ∑ i = 1 k l o g n k ! + ∑ i = 1 k l o g p k =log\left ( n! \right )-\sum _{i=1}^{k}logn_{k}!+\sum _{i=1}^{k}logp_{k} =log(n!)i=1klognk!+i=1klogpk

对于有约束条件的极值求解问题可使用拉格朗日乘法:
L a g r a n g e ( p 1 , p 2 , ⋯   , p k , λ ) = L ( p 1 , p 2 , ⋯   , p k ) − λ ( ∑ i = 1 k p i − 1 ) Lagrange\left ( p_{1},p_{2},\cdots ,p_{k},\lambda \right )=L\left ( p_{1},p_{2},\cdots ,p_{k} \right )-\lambda\left ( \sum _{i=1}^{k}p_{i}-1 \right ) Lagrange(p1,p2,,pk,λ)=L(p1,p2,,pk)λ(i=1kpi1)

求导(计算梯度):
∂ L a g r a n g e ( p 1 , p 2 , ⋯   , p k , λ ) ∂ p i = n i p i − λ \frac{\partial Lagrange\left ( p_{1},p_{2},\cdots ,p_{k},\lambda \right )}{\partial p_{i}}=\frac{n_{i}}{p_{i} }-\lambda piLagrange(p1,p2,,pk,λ)=piniλ

进而有:
p i = n i λ p_{i}=\frac{n_{i}}{\lambda } pi=λni

由于
∑ i = 1 k n i λ = 1 \sum _{i=1}^{k}\frac{n_{i}}{\lambda }=1 i=1kλni=1

得到:
λ = n \lambda=n λ=n

进而有:
p i ^ = n i n \hat{p_{i}}=\frac{n_{i}}{n} pi^=nni

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/182709.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号