最大似然估计详解

最大似然估计详解&nbsp&nbsp最大似然估计是建立在最大似然原理的基础之上。最大似然原理的直观理解是:设一个随机试验有若干个可能的结果A1,A2,…,An,在一次试验中,结果Ak出现,则一般认为实验对Ak的出现最有利,即Ak出现的概率较大。这里用到了”概率最大的事件最可能出现”的直观想法,然后对Ak出现的概率公式求极大值,这样便可解未知参数。下面用一个例子说明最大似然估计的思想方法。&nbsp&nbsp假设一个

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全家桶1年46,售后保障稳定

1.引入概念

  最大似然估计是建立在最大似然原理的基础之上。最大似然原理的直观理解是:设一个随机试验有若干个可能的结果 A1,A2,...,An ,在一次试验中,结果 Ak 出现,则一般认为实验对 Ak 的出现最有利,即 Ak 出现的概率较大。这里用到了”概率最大的事件最可能出现”的直观想法,然后对 Ak 出现的概率公式求极大值,这样便可解未知参数。下面用一个例子说明最大似然估计的思想方法。

  假设一个服从离散型分布的总体X,不妨设 XB(4,p) ,其中参数 p 未知.现抽取容量为3的样本,

X1,X2,X3
,如果出现的样本观测值为1,2,1,此时 p 的取值如何估计比较合理?注:

B(n,p)
为二项分布,二项分布指每一次实验只有0和1两个结果,其中 n 表示实验次数,

p
表示每次结果为1的概率,概率求解公式为:
     P(x=k)=Cknpk(1p)nk   (1.1)

  考虑这样一个问题,为什么样本结果是1,2,1,而不是另外一组 x1,x2,x3 呢?设事件 A={
X1=1,X2=2,X3=1}
,事件 B={
X1=x1,X2=x2,X3=x3}
,应用概率论的思想,大概率事件发生的可能性比小概率事件发生的可能性要大,即A发生的概率较大,套用公式1.1可以得出:
   P(A)=C14p(1p)3C24p2(1p)2C14p(1p)3=96p4(1p)8

应该让P(A)的取值应该尽可能大。对P(A)进行求导取极值可知,当p=1/3时,P(A)取到最大值,所有有理由认为p=1/3有利于事件A发生,所有p应该取值为1/3比较合理。

2.给出似然函数定义

  设 X1,X2,...,Xn 为来自总体 X 的简单随机样本,

x1,x2,...,xn
为样本观测值.称

L(θ)=i=1np(xi,θ)



为参数

θ
的似然函数。其中,当总体

X
为离散型随机变量时,



p(xi,θ)

表示X的分布列

P{
X=xi}=p(xi,θ)

;当总体

X
为连续性型随机变量时,



p(xi,θ)

表示

X
的密度函数



f(x,θ)



xi
处的取值

f(xi,θ)=p(xi,θ)

  参数 θ 的似然函数 L(θ) 实际上就是样本 X1,X2,...,Xn 恰好取观察值 x1,x2,...,xn() 的概率。如果总体 X 为离散型随机变量时,


L(θ)=P{X1=x1,X2=x2,...,Xn=xn}=P{X1=x1}P{X2=x2}...P{Xn=xn}=

i=1np(xi,θ)



如果总体

X
为连续性型随机变量,由于当



Δxi

非常小时,



P{
xiΔxi2<Xi<xi+Δxi2}=P{
xiΔxi2<X<xi+Δxi2}=xi+Δxi2xiΔxi2f(x,θ)dx
f(xi,θ)Δxi

于是

P{
x1Δx12<X1<x1+Δx12,x2Δx22<X2<x2+Δx22,...,xnΔxn2<Xn
<xn+Δxn2}=

i=1nP{
xiΔxi2<Xi<xi+Δxi2}i=1nf(xi,θ)Δxi=L(θ)i=1nΔxi

注意我们求的是样本落在区间 [xiΔxi,xi+Δxi] 的概率,而不是样本落在点 xi 的概率,现在我们求出了落在区间的概率为

L(θ)i=1nΔxi


又该区间的概率应该近视等于 P{
X=xi}Δxi
,即用点 xi 的发生概率代表区间平均概率密度
,所以

L(θ)
代表的是一组点对应的概率的乘积,即样本

X1,X2,...,Xn
落在观测值

x1,x2,...,xn
附近的概率。

3.最大似然估计

  设

L(θ)=i=1np(xi,θ)

为参数

θ
的似然函数,若存在一个只与样本观察值

x1,x2,...,xn
有关的实数

θ^(x1,x2,...,xn),使


    

L(θ^)=maxL(θ)


则称

θ^(x1,x2,...,xn)
为参数

θ
的最大似然估计值,称

θ^(X1,X2,...,Xn)
为参数

θ
的最大估计量。
注意 θ^(x1,x2,...,xn) 仅仅是一个实数值,后面带的 (x1,x2,...,xn) 表示这个值的取值与它们有关。

  由上可知,所谓最大似然估计是指通过求似然函数

L(θ)
的最大(或极大)值点来估计参数

θ
的一种方法。
另外,最大似然估计对总体中未知参数的个数没有要求,可以求一个未知参数的最大似然估计,也可以一次求多个未知参数的最大似然估计,这个通过对多个未知参数求偏导来实现,因为多变量极值就是偏导运算。需要注意的是,似然函数 L(θ) 不一定有极大值点,但是未必没有最大值点,所以对于有些问题,求导求极大值可能会失效,这时需要考虑边界点。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/222948.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • 自己动手实现arping

    自己动手实现arping只要接触过网络的人,相信对ping命令并不陌生。该命令可以用来检测本机到目标机的网络是否连通,是一种很常见的网络监测手段。对网络熟悉一点的人可能还知道ping命令的工作原理。让我们看看ping命令的介绍:DESCRIPTIONpingusestheICMPprotocol’smandatoryECHO_REQUESTdatagramtoelicitanICMPECHO_RESPONSEfromahostorgateway….

  • mybatis底层通过什么实现_priorityqueue java

    mybatis底层通过什么实现_priorityqueue java一、概述最近接触了一些项目,发现很多项目最开始的时候Service接口和实现类一个方法都没有,通过继承通用底层能够使用基本的增删改查操作了。这种骚操作以前听过但是着实没有亲手实现过,今天参考着自己实

  • 【X11vnc】Ubuntu18.04 x11vnc启动失败,报错error opening logfile: /var/log/x11vnc.log

    【X11vnc】Ubuntu18.04 x11vnc启动失败,报错error opening logfile: /var/log/x11vnc.logUbuntu18.04x11vnc启动失败,报错erroropeninglogfile:/var/log/x11vnc.log前提概要报错解决方案前提概要之前在Ubuntu18.04安装了x11vnc,最近通过vncview连不上了,使用ssh登录后,根据journalctl-ux11vnc发现报错创建/var/log/x11vnc.log后查看x11vnc.log报错root@VM-16-8-ubuntu:/home/ubuntu#cat/var/log/x11vnc.l

  • allocatememory(an out of memory)

    仅作为记录,大佬请跳过。仅需减小batchsize展示:即可运行。注博主的这个程序减小batchsize就行了,可能不同的博友们的程序不一样,也有的大佬博主使用不计算梯度或释放内存的方式不计算梯度——传送门withtorch.no_grad()释放内存——传送门ifhasattr(torch.cuda,’empty_cache’): torch.cuda.empty_cache()…

  • T-SQL性能调整(一)–编译和重新编译

    T-SQL性能调整(一)–编译和重新编译

    2021年11月25日
  • app测试设计测试用例的要点_测试用例设计的方法

    app测试设计测试用例的要点_测试用例设计的方法1、安装卸载2、功能用例3、用户体验测试4、交叉事件测试5、硬件测试6、更新升级测试7、客户的数据库设计测试8、日志抓取分析

    2022年10月12日

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号