漫步数理统计二十六——多元正态分布

漫步数理统计二十六——多元正态分布本片博文介绍多元正态分布,我们以nn维随机变量为主,但给出n=2n=2时二元情况的一些实例。与上篇文章一样,我们首先介绍标准情况然后扩展到一般情况,当然这里会用到向量与矩阵符号。考虑随机向量Z=(Z1,…,Zn)′\mathbf{Z}=(Z_1,\ldots,Z_n)^\prime,其中Z1,…,ZnZ_1,\ldots,Z_n是独立同分布的N(0,1)N(0,1)随机变量,那么对z∈Rn,Z\ma

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全家桶1年46,售后保障稳定

本片博文介绍多元正态分布,我们以 n 维随机变量为主,但给出

n=2
时二元情况的一些实例。与上篇文章一样,我们首先介绍标准情况然后扩展到一般情况,当然这里会用到向量与矩阵符号。

考虑随机向量 Z=(Z1,,Zn) ,其中 Z1,,Zn 是独立同分布的 N(0,1) 随机变量,那么对 zRn,Z 的密度为

fZ(z)=i=1n12πexp{
12z2i}
=(12π)n/2exp{
12i=1nz2i}
=(12π)n/2exp{
12zz}
(1)

因为 Zi 的均值为0,方差为1且不相关,所以 Z 的均值与协方差矩阵为

E[Z]=0,Cov[Z]=In(2)

其中 In 表示 n 阶单位矩阵。回忆一下

Zi
expt2i/2 ,因为 Zi 是独立的,所以对于所有的 tRn,Z 的mgf为

MZ(t)=E[exp{
tZ}]
=E[i=1nexp{
tiZi}]
=i=1nE[exp{
tiZi}]
=exp{
12i=1nt2i}
=exp{
12tt}
(3)

我们称 Z 是均值为 0 协方差矩阵为 In 的多元正态分布,简写成 Z 满足 Nn(0,In) 分布。

对于一般情况,假设 Σ n×n 的对称,半正定矩阵(psd),那么根据线性代数的知识,我们总能将 Σ 分解为

Σ=ΓΛΓ(4)

其中 Λ 是对角矩阵, Λ=diag(λ1,λ2,,λn),λ1λ2λn0 Σ 的特征值, Γ 的列 v1,v2,,vn 是相应的特征向量,这个分解叫做 Σ 的谱分解,矩阵 Γ 是正交矩阵,即 Γ1=Γ 因此 ΓΓ=I 。另外还可以将谱分解写成如下形式:

Σ=ΓΛΓ=i=1nλivivi(5)

因为 λi 是非负的,所以我们能定义对角矩阵 Λ1/2=(λ1,,λn) ,那么 Γ 的正交性就意味着

Σ=ΓΛ1/2ΓΓΛ1/2Γ

定义矩阵 Σ 的平方根为

Σ1/2=ΓΛ1/2Γ(6)

其中 Λ1/2=diag(λ1,,λn) ,注意 Σ1/2 是对称psd矩阵,假设 Σ 是正定的 (pd) ;即它的特征值都为正,那么很容易说明

(Σ1/2)1=ΓΛ1/2Γ(7)

我们可以将等式左边写成 Σ1/2

Z 满足 N(0,In) 分布,令 Σ 是对称半正定矩阵且 μ n×1 的常向量,随机向量 X 定义为

X=Σ1/2Z+μ(8)

根据 (2) 可得

E[X]=μ,Cov[X]=Σ1/2Σ1/2=Σ(9)

进一步 X 的mgf为

MX(t)=E[exp{
tX}]
=E[exp{
tΣ1/2Z+tμ}]
=exp{
tμ}E[exp{
(Σ1/2t)Z}]
=exp{
texp{
(1/2)(Σ1/2t)Σ1/2t}
=exp{
texp{
(1/2)tΣt}
(10)

这就产生了下面的定义:

1 我们称 n 维随机变量

X
是多元正态分布,当且仅当对所有的 tRn ,它的mgf为

MX(t)=exp{
tμ+(1/2)tΣt}
(11)

其中 Σ 是对称半正定矩阵且 μRn ,我们简单称 X 满足 Nn(μ,Σ) 分布。

注意这里我们是对半正定矩阵进行定义,一般情况 Σ 是正定的,这种情况下我们可以进一步得到 X 的密度。如果 Σ 是正定的,那么 Σ1/2 也是正定的,它的逆就是 (7) ,所以 X,Z 之间的变换 (8) 是一对一的变换,它的逆变换为

Z=Σ1/2(Xμ)

雅可比为 |Σ1/2|=|Σ|1/2 ,因此通过化简得到 X 的pdf为

fX(x)=1(2π)n/2|Σ|1/2exp{
12(xμ)Σ(xμ)}
(12)

下面的两个定理非常有用,第一个是说多元正态随机向量的线性变换满足多元正态分布。

1 假设 X 满足 Nn(μ,Σ) 分布,令 Y=AX+b ,其中 A m×n 矩阵且 bRm ,那么 Y 满足 Nm(Aμ+b,AΣA)

根据 (11) ,对所有的 tRm Y 的mgf为

MY(t)=E[exp{
tY}]
=E[exp{
t(AX+b)}]
=exp{
tb}E[exp{
(At)X}]
=exp{
tb}exp{
(At)μ+(1/2)(At)Σ(At)}
=exp{
t(Aμ+b)+(1/2)tAΣAt}

这是 Nm(Aμ+b,AΣA) 分布的mgf。 ||

该定理简单的推论给出了多元正态随机变量的边缘分布,令 X1 X 的任意子向量,维数 m<n ,因为我们能够重排均值与相关性,不失一般性, X 可以写成

X=[X1X2](13)

其中 X2 的维数为 p=nm ,利用同样的方法拆分 X 的均值与协方差矩阵得:

μ=[μ1μ2]Σ=[Σ11Σ21Σ12Σ22](14)

注意 Σ11 X1 得协方差矩阵, Σ12 包含 X1,X2 元素之间的所有协方差,现在定义 A 为矩阵

A=[ImOmp]

其中 Omp 是一个 m×p 的零矩阵,那么 X1=AX 。因此在这个变换上应用定理1可以得到下面的推论:

1 假设 X 满足 Nn(μ,Σ) 分布,将其分成 (13),(14) 的形式,那么 X1 满足 Nm(μ1,Σ11) 分布。

这是个非常有用的结论,因为它说明 X 的任何边缘分布也是正态分布,进一步它的均值与协方差矩阵与其部分向量的均值与方差有关。

1 本例展示 n=2 的多元正态情况,这种情况的分布称为二元正态,我们使用常用的符号 (X,Y) 而不是 (X1,X2) ,所以假设 (X,Y) 满足 N2(μ,Σ) 分布,其中

μ=[μ1μ2]Σ=[σ21σ12σ12σ22](15)

这里 μ1,σ21 分别是 X 的均值与方差;

μ2,σ22
分别是 Y 的均值与方差;

σ12
X,Y 之间的协方差,回顾一下 σ12=ρσ1σ2 ,其中 ρ X,Y 之间的相关系数。将 ρσ1σ2 代入 Σ 中的 σ12 ,很容易看出 Σ 的行列式为 σ21σ22(1ρ2) 。另外 ρ21 ,接下里我们假设 ρ2<1 ,这时候 Σ 是可逆的(也是正定的),进一步因为 Σ 是一个 2×2 矩阵,所以它的逆很容易定义为

Σ1=1σ21σ22(1ρ2)[σ22ρσ1σ2ρσ1σ2σ21](16)

利用这个表达式, (X,Y) 的pdf可以写成

f(x,y)=12πσ1σ21ρ2eq/2, <x<, <y<(17)

其中,

q=11ρ2[(xμ1σ1)22ρ(xμ1σ1)(yμ2σ2)+(yμ2σ2)2](18)

如果 X,Y 是独立的随机变量,那么它们的相关系数为0。如果它们是正态的,根据推论1, X 满足

N(μ1,σ21)
分布, Y 满足

N(μ2,σ22)
分布。进一步,基于 (17) ,对于 (X,Y) 的联合pdf,如果相关系数为0,那么 X,Y 是独立的。即对于二元正态情况,独立等价于 ρ=0 ,多元正态情况同样成立。

一般而言,如果两个随机变量是独立的,那么它们的协方差为0,但是反过来不一定对。然而对于正态情况却为真。

2 假设 X 满足 Nn(μ,Σ) 分布,且如 (13),(14) 那样划分,那么 X1,X2 是独立的,当且仅当 Σ12=O

首先注意到 Σ21=Σ12 X1,X2 的联合mgf为

MX1,X2(t1,t2)=exp{
t1μ1+t2μ2+12(t1Σ11t1+t2Σ22t2+t2Σ21t1+t1Σ12t2)}
(19)

其中 t=(t1,t2) 是与 μ 一样的划分,根据推论1, X1 满足 Nm(μ1,Σ11) 分布, X2 满足 Np(μ2,Σ22) 分布,因此它们边缘mgf的乘积为:

MX1(t1)MX2(t2)=exp{
t1μ1+t2μ2+12(t1Σ11t1+t2Σ22t2)}
(20)

X1,X2 是独立的,当且仅当 (19),(20) 想等。如果 Σ12=O ,那么表达式想等且 X1,X2 独立。如果 X1,X2 独立,那么它们元素之间的协方差为0;即 Σ12=O,Σ21=O

推论1说明多元正态的边缘分布是正态分布,条件分布同样如此。结合定理1与定理2可以得出下面的定理。

3 假设 X 满足 Nn(μ,Σ) 分布,划分成 (13),(14) ,假设 Σ 是正定的,那么 X1|X2 的条件分布为

Nm(μ1+Σ12Σ122(X2μ2),Σ11Σ12Σ122Σ21)(21)

考虑随机变量 W=X1Σ12Σ122X2 X2 的联合分布,这个分布是通过下面的变换得到的

[WX2]=[ImOΣ12Σ122Ip][X1X2]

因为这是一个线性变换,所以根据定理1可知联合分布为多元正态,且 E[W]=μ1Σ12Σ122μ2,E[X2]=μ2 ,协方差矩阵为

[ImOΣ12Σ122Ip][Σ11Σ21Σ12Σ22][ImΣ122Σ21OIp]=[Σ11Σ12Σ122Σ21OOΣ22]

因此根据定理2,随机向量 W,X2 是独立的,故 W|X2 的条件分布与 W 的边缘分布一样;即
W|X2 满足 Nm(μ1Σ12Σ122μ2,Σ11Σ12Σ122Σ21) ,进一步因为独立性,给定 X2,W+Σ12Σ122X2 的分布为

Nm(μ1Σ12Σ122μ2+Σ12Σ122X2,Σ11Σ12Σ122Σ21)(22)

得证。 ||

2 依然考虑例1的二元情况,我们反转下变量,使得 Y=X1,X=X2 ,给定 X=x,Y 的条件分布根据 (21) 可知为

N[μ2+ρσ2σ1(xμ1),σ22(1ρ2)](23)

因此而与二元正态分布,给定 X=x Y 的条件均值是

x
的线性函数

E(Y|x)=μ2+ρσ2σ1(xμ1)

线性条件均值 E(Y|x) x 的系数为

ρσ2/σ1
。在一般线性条件均值 E(Y|x) x 的系数为相关系数与

σ2/σ1
的乘积。

虽然给定 X=x,Y 的条件分布均值依赖 x (除非

ρ=0
),但是方差 σ22(1ρ2) 对所有 x 值都是一样的,同样的方式我们可以给出

Y=y,X
的条件分布为

N[μ1+ρσ1σ2(yμ2),σ21(1ρ2)]

回忆一下,如果随机变量 X 满足

N(μ,σ2)
分布,那么随机变量 [(Xμ)/σ]2 满足 χ2(1) 分布,多元情况类似,如下定理所述。

4 假设 X 满足 Nn(μ,Σ) 分布,其中 Σ 是正定矩阵,那么随机变量 W=(Xμ)Σ1(Xμ) 满足 χ2(n) 分布。

Σ 写成 Σ1/2Σ1/2 ,其中 Σ1/2 定义为 (6) ,那么 Z=Σ1/2(Xμ) 满足 Nn(0,In) ,令 W=ZZ=ni=1Z2i ,因为对于 i=1,2,,n,Zi 满足 N(0,1) 分布,所以 Z2i 满足 χ2(1) 分布,因为 Z1,,Zn 是独立的标准正态分布,所以 i=1Z2i=W 满足 χ2(n) 分布。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/209939.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(1)


相关推荐

  • 商标注册_企业软件

    商标注册_企业软件开发软件时,当用到商业用途时,注册码与激活码就显得很重要了。现在的软件激活成功教程技术实在在强了,各种国内外大型软件都有注册机制,但同时也不断地被激活成功教程。下面发的只是一个常用版本,发出源码被破就更容易了,但我们学习的是技术。当然也为以后自己的软件不会被轻易激活成功教程。第一步。根据卷标,CPU序列号,生成机器码//取得设备硬盘的卷标号       publicstaticstringG

  • 卓越性能 の 军火库「建议收藏」

    卓越性能 の 军火库「建议收藏」在介绍性能优化的军火库之前,先来扯几句题外话。希望这些题外话,能打消你追求卓越性能的理想,来甘心当一枚圆滑的钉子。我是非常不推荐程序员,对公司的业务,进行性能优化的。说这话,纯粹是基于个人自身安全考虑。因为性能优化,在大多数公司,属于费力不讨好的工作项。追求极简的代码,性能卓越的代码,是有追求的程序员的目标。但随着经历了大大小小的公司,我发现很多优秀的程序员,在经受着这种追求的反嗜,以至于痛不欲生。下有下面几点原因,虽然我们知道它肯定是错的,但我们无能无力:公司按照完成的功能,对程序员…

  • js手机号正则校验_正则表达式验证手机号码格式

    js手机号正则校验_正则表达式验证手机号码格式这篇文章主要介绍了2022手机号码JS正则表达式验证实例代码,代码简单易懂,非常不错,具有一定的参考借鉴价值,需要的朋友可以参考下​概念正则表达式是对字符串操作的一种逻辑公式,就是用事先定义好的一些特定字符、及这些特定字符的组合,组成一个“规则字符串”,这个“规则字符串”用来表达对字符串的一种过滤逻辑。简介正则表达式是对字符串(包括普通字符(例如,a到z之间的字母)和特殊字符(称为“元字符”))操作的一种逻辑公式,就是用事先定义好的一些特定字符、及这些特定字符的组合,组成一个“规则字

  • gzip解压_银河麒麟gzip解压

    gzip解压_银河麒麟gzip解压1、首先说为什么采用zlib解压,因为zlib可以解压内存数据。2、下载zlib库后,自己在projcts目录里面根据需要编译lib库3、静态链接只需要zlib.h;zconf.h;zlib.lib三个文件即可(动态的不介绍了)4、解压函数:[html]viewplaincopyprint?/* HTTP gzip decomp

  • linux下ls -l命令(即ll命令)查看文件的显示结果分析

    linux下ls -l命令(即ll命令)查看文件的显示结果分析在linux下使用“ls-l”或者“ls-al”或者“ll”命令查看文件及目录详情时,shell中会显示出好几列的信息。平时也没怎么注意过,今天忽然心血来潮想了解一下,于是整理了这篇博客,以供参考:首先给出一张典型的显示结果:下面对其中的每一列进行详细的分析:一、文件类型表示该文件的类型:“-”表示普通文件;“d”表示目录;“l”表示链接文件;“p”表示…

  • mac下配置android开发环境

    1.安装java环境oracle官网下载java就可以,链接http://www.oracle.com/technetwork/java/javase/downloads/index.html?ssSourceSiteId=ocomen我下载的是java72.安装adt-bundle形式的android开发环境由于google现在极力推广他的android studio,官网貌似已经把eclips

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号