漫步数理统计二十六——多元正态分布

漫步数理统计二十六——多元正态分布本片博文介绍多元正态分布,我们以nn维随机变量为主,但给出n=2n=2时二元情况的一些实例。与上篇文章一样,我们首先介绍标准情况然后扩展到一般情况,当然这里会用到向量与矩阵符号。考虑随机向量Z=(Z1,…,Zn)′\mathbf{Z}=(Z_1,\ldots,Z_n)^\prime,其中Z1,…,ZnZ_1,\ldots,Z_n是独立同分布的N(0,1)N(0,1)随机变量,那么对z∈Rn,Z\ma

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全家桶1年46,售后保障稳定

本片博文介绍多元正态分布,我们以 n 维随机变量为主,但给出

n=2
时二元情况的一些实例。与上篇文章一样,我们首先介绍标准情况然后扩展到一般情况,当然这里会用到向量与矩阵符号。

考虑随机向量 Z=(Z1,,Zn) ,其中 Z1,,Zn 是独立同分布的 N(0,1) 随机变量,那么对 zRn,Z 的密度为

fZ(z)=i=1n12πexp{
12z2i}
=(12π)n/2exp{
12i=1nz2i}
=(12π)n/2exp{
12zz}
(1)

因为 Zi 的均值为0,方差为1且不相关,所以 Z 的均值与协方差矩阵为

E[Z]=0,Cov[Z]=In(2)

其中 In 表示 n 阶单位矩阵。回忆一下

Zi
expt2i/2 ,因为 Zi 是独立的,所以对于所有的 tRn,Z 的mgf为

MZ(t)=E[exp{
tZ}]
=E[i=1nexp{
tiZi}]
=i=1nE[exp{
tiZi}]
=exp{
12i=1nt2i}
=exp{
12tt}
(3)

我们称 Z 是均值为 0 协方差矩阵为 In 的多元正态分布,简写成 Z 满足 Nn(0,In) 分布。

对于一般情况,假设 Σ n×n 的对称,半正定矩阵(psd),那么根据线性代数的知识,我们总能将 Σ 分解为

Σ=ΓΛΓ(4)

其中 Λ 是对角矩阵, Λ=diag(λ1,λ2,,λn),λ1λ2λn0 Σ 的特征值, Γ 的列 v1,v2,,vn 是相应的特征向量,这个分解叫做 Σ 的谱分解,矩阵 Γ 是正交矩阵,即 Γ1=Γ 因此 ΓΓ=I 。另外还可以将谱分解写成如下形式:

Σ=ΓΛΓ=i=1nλivivi(5)

因为 λi 是非负的,所以我们能定义对角矩阵 Λ1/2=(λ1,,λn) ,那么 Γ 的正交性就意味着

Σ=ΓΛ1/2ΓΓΛ1/2Γ

定义矩阵 Σ 的平方根为

Σ1/2=ΓΛ1/2Γ(6)

其中 Λ1/2=diag(λ1,,λn) ,注意 Σ1/2 是对称psd矩阵,假设 Σ 是正定的 (pd) ;即它的特征值都为正,那么很容易说明

(Σ1/2)1=ΓΛ1/2Γ(7)

我们可以将等式左边写成 Σ1/2

Z 满足 N(0,In) 分布,令 Σ 是对称半正定矩阵且 μ n×1 的常向量,随机向量 X 定义为

X=Σ1/2Z+μ(8)

根据 (2) 可得

E[X]=μ,Cov[X]=Σ1/2Σ1/2=Σ(9)

进一步 X 的mgf为

MX(t)=E[exp{
tX}]
=E[exp{
tΣ1/2Z+tμ}]
=exp{
tμ}E[exp{
(Σ1/2t)Z}]
=exp{
texp{
(1/2)(Σ1/2t)Σ1/2t}
=exp{
texp{
(1/2)tΣt}
(10)

这就产生了下面的定义:

1 我们称 n 维随机变量

X
是多元正态分布,当且仅当对所有的 tRn ,它的mgf为

MX(t)=exp{
tμ+(1/2)tΣt}
(11)

其中 Σ 是对称半正定矩阵且 μRn ,我们简单称 X 满足 Nn(μ,Σ) 分布。

注意这里我们是对半正定矩阵进行定义,一般情况 Σ 是正定的,这种情况下我们可以进一步得到 X 的密度。如果 Σ 是正定的,那么 Σ1/2 也是正定的,它的逆就是 (7) ,所以 X,Z 之间的变换 (8) 是一对一的变换,它的逆变换为

Z=Σ1/2(Xμ)

雅可比为 |Σ1/2|=|Σ|1/2 ,因此通过化简得到 X 的pdf为

fX(x)=1(2π)n/2|Σ|1/2exp{
12(xμ)Σ(xμ)}
(12)

下面的两个定理非常有用,第一个是说多元正态随机向量的线性变换满足多元正态分布。

1 假设 X 满足 Nn(μ,Σ) 分布,令 Y=AX+b ,其中 A m×n 矩阵且 bRm ,那么 Y 满足 Nm(Aμ+b,AΣA)

根据 (11) ,对所有的 tRm Y 的mgf为

MY(t)=E[exp{
tY}]
=E[exp{
t(AX+b)}]
=exp{
tb}E[exp{
(At)X}]
=exp{
tb}exp{
(At)μ+(1/2)(At)Σ(At)}
=exp{
t(Aμ+b)+(1/2)tAΣAt}

这是 Nm(Aμ+b,AΣA) 分布的mgf。 ||

该定理简单的推论给出了多元正态随机变量的边缘分布,令 X1 X 的任意子向量,维数 m<n ,因为我们能够重排均值与相关性,不失一般性, X 可以写成

X=[X1X2](13)

其中 X2 的维数为 p=nm ,利用同样的方法拆分 X 的均值与协方差矩阵得:

μ=[μ1μ2]Σ=[Σ11Σ21Σ12Σ22](14)

注意 Σ11 X1 得协方差矩阵, Σ12 包含 X1,X2 元素之间的所有协方差,现在定义 A 为矩阵

A=[ImOmp]

其中 Omp 是一个 m×p 的零矩阵,那么 X1=AX 。因此在这个变换上应用定理1可以得到下面的推论:

1 假设 X 满足 Nn(μ,Σ) 分布,将其分成 (13),(14) 的形式,那么 X1 满足 Nm(μ1,Σ11) 分布。

这是个非常有用的结论,因为它说明 X 的任何边缘分布也是正态分布,进一步它的均值与协方差矩阵与其部分向量的均值与方差有关。

1 本例展示 n=2 的多元正态情况,这种情况的分布称为二元正态,我们使用常用的符号 (X,Y) 而不是 (X1,X2) ,所以假设 (X,Y) 满足 N2(μ,Σ) 分布,其中

μ=[μ1μ2]Σ=[σ21σ12σ12σ22](15)

这里 μ1,σ21 分别是 X 的均值与方差;

μ2,σ22
分别是 Y 的均值与方差;

σ12
X,Y 之间的协方差,回顾一下 σ12=ρσ1σ2 ,其中 ρ X,Y 之间的相关系数。将 ρσ1σ2 代入 Σ 中的 σ12 ,很容易看出 Σ 的行列式为 σ21σ22(1ρ2) 。另外 ρ21 ,接下里我们假设 ρ2<1 ,这时候 Σ 是可逆的(也是正定的),进一步因为 Σ 是一个 2×2 矩阵,所以它的逆很容易定义为

Σ1=1σ21σ22(1ρ2)[σ22ρσ1σ2ρσ1σ2σ21](16)

利用这个表达式, (X,Y) 的pdf可以写成

f(x,y)=12πσ1σ21ρ2eq/2, <x<, <y<(17)

其中,

q=11ρ2[(xμ1σ1)22ρ(xμ1σ1)(yμ2σ2)+(yμ2σ2)2](18)

如果 X,Y 是独立的随机变量,那么它们的相关系数为0。如果它们是正态的,根据推论1, X 满足

N(μ1,σ21)
分布, Y 满足

N(μ2,σ22)
分布。进一步,基于 (17) ,对于 (X,Y) 的联合pdf,如果相关系数为0,那么 X,Y 是独立的。即对于二元正态情况,独立等价于 ρ=0 ,多元正态情况同样成立。

一般而言,如果两个随机变量是独立的,那么它们的协方差为0,但是反过来不一定对。然而对于正态情况却为真。

2 假设 X 满足 Nn(μ,Σ) 分布,且如 (13),(14) 那样划分,那么 X1,X2 是独立的,当且仅当 Σ12=O

首先注意到 Σ21=Σ12 X1,X2 的联合mgf为

MX1,X2(t1,t2)=exp{
t1μ1+t2μ2+12(t1Σ11t1+t2Σ22t2+t2Σ21t1+t1Σ12t2)}
(19)

其中 t=(t1,t2) 是与 μ 一样的划分,根据推论1, X1 满足 Nm(μ1,Σ11) 分布, X2 满足 Np(μ2,Σ22) 分布,因此它们边缘mgf的乘积为:

MX1(t1)MX2(t2)=exp{
t1μ1+t2μ2+12(t1Σ11t1+t2Σ22t2)}
(20)

X1,X2 是独立的,当且仅当 (19),(20) 想等。如果 Σ12=O ,那么表达式想等且 X1,X2 独立。如果 X1,X2 独立,那么它们元素之间的协方差为0;即 Σ12=O,Σ21=O

推论1说明多元正态的边缘分布是正态分布,条件分布同样如此。结合定理1与定理2可以得出下面的定理。

3 假设 X 满足 Nn(μ,Σ) 分布,划分成 (13),(14) ,假设 Σ 是正定的,那么 X1|X2 的条件分布为

Nm(μ1+Σ12Σ122(X2μ2),Σ11Σ12Σ122Σ21)(21)

考虑随机变量 W=X1Σ12Σ122X2 X2 的联合分布,这个分布是通过下面的变换得到的

[WX2]=[ImOΣ12Σ122Ip][X1X2]

因为这是一个线性变换,所以根据定理1可知联合分布为多元正态,且 E[W]=μ1Σ12Σ122μ2,E[X2]=μ2 ,协方差矩阵为

[ImOΣ12Σ122Ip][Σ11Σ21Σ12Σ22][ImΣ122Σ21OIp]=[Σ11Σ12Σ122Σ21OOΣ22]

因此根据定理2,随机向量 W,X2 是独立的,故 W|X2 的条件分布与 W 的边缘分布一样;即
W|X2 满足 Nm(μ1Σ12Σ122μ2,Σ11Σ12Σ122Σ21) ,进一步因为独立性,给定 X2,W+Σ12Σ122X2 的分布为

Nm(μ1Σ12Σ122μ2+Σ12Σ122X2,Σ11Σ12Σ122Σ21)(22)

得证。 ||

2 依然考虑例1的二元情况,我们反转下变量,使得 Y=X1,X=X2 ,给定 X=x,Y 的条件分布根据 (21) 可知为

N[μ2+ρσ2σ1(xμ1),σ22(1ρ2)](23)

因此而与二元正态分布,给定 X=x Y 的条件均值是

x
的线性函数

E(Y|x)=μ2+ρσ2σ1(xμ1)

线性条件均值 E(Y|x) x 的系数为

ρσ2/σ1
。在一般线性条件均值 E(Y|x) x 的系数为相关系数与

σ2/σ1
的乘积。

虽然给定 X=x,Y 的条件分布均值依赖 x (除非

ρ=0
),但是方差 σ22(1ρ2) 对所有 x 值都是一样的,同样的方式我们可以给出

Y=y,X
的条件分布为

N[μ1+ρσ1σ2(yμ2),σ21(1ρ2)]

回忆一下,如果随机变量 X 满足

N(μ,σ2)
分布,那么随机变量 [(Xμ)/σ]2 满足 χ2(1) 分布,多元情况类似,如下定理所述。

4 假设 X 满足 Nn(μ,Σ) 分布,其中 Σ 是正定矩阵,那么随机变量 W=(Xμ)Σ1(Xμ) 满足 χ2(n) 分布。

Σ 写成 Σ1/2Σ1/2 ,其中 Σ1/2 定义为 (6) ,那么 Z=Σ1/2(Xμ) 满足 Nn(0,In) ,令 W=ZZ=ni=1Z2i ,因为对于 i=1,2,,n,Zi 满足 N(0,1) 分布,所以 Z2i 满足 χ2(1) 分布,因为 Z1,,Zn 是独立的标准正态分布,所以 i=1Z2i=W 满足 χ2(n) 分布。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/209939.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • XML解析

    XML解析一、邂逅XML文件种类是丰富多彩的,XML作为众多文件类型的一种,经常被用于数据存储和传输。所以XML在现今应用程序中是非常流行的。本文主要讲Java解析和生成XML。用于不同平台、不同设备间的数据

  • python lasso回归分析_解析python实现Lasso回归「建议收藏」

    python lasso回归分析_解析python实现Lasso回归「建议收藏」Lasso原理Lasso与弹性拟合比较python实现importnumpyasnpimportmatplotlib.pyplotaspltfromsklearn.metricsimportr2_score#defmain():#产生一些稀疏数据np.random.seed(42)n_samples,n_features=50,200X=np.random.ran…

  • Mysql中行转列和列转行

    Mysql中行转列和列转行一、行转列即将原本同一列下多行的不同内容作为多个字段,输出对应内容。建表语句DROPTABLEIFEXISTStb_score;CREATETABLEtb_score(idINT(11)NOTNULLauto_increment,useridVARCHAR(20)NOTNULLCOMMENT’用户id’,subject…

  • 请描述django模板中标签的作用?_产品标签设计模板

    请描述django模板中标签的作用?_产品标签设计模板常用的模板标签if标签if标签相当于Python中的if语句,有elif和else相对应,但是所有的标签都需要用标签符号({%%})进行包裹。if标签中可以使用==、!=、<、<=、&

  • Spring Cloud微服务实战

    Spring Cloud微服务实战

  • 一篇文章让你了解Hive和HBase的区别

    相信做大数据开发的朋友对hive和HBase一定不会陌生。HBASE想了解更多大数据相关知识可以点击“了解更多”Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。HBase是Hadoop的数据库,一个分布式、可扩展、大数据的存储。单个的从字面意思上或许很难看出二者…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号