matlab空间计量AIC准则,关于AIC准则

matlab空间计量AIC准则,关于AIC准则AIC准则提出背景计量经济学研究对象:量化的社会经济问题研究目的:利用已有信息,通过模型发现内在机理,并对未知信息作出统计推断核心问题:保证模型反映数据所代表的主要信息,降低噪声干扰项的影响,保证模型的预测准确性模型包含的信息量能否尽可能大?不能。一是干扰信息无法避免;二是若模型包含了全部信息,则模型的复杂度也会相应提高,相应地会提高经济学成本;三是人无法对模型的准确性做出客观而科学的评断。信息论…

大家好,又见面了,我是你们的朋友全栈君。

AIC准则提出背景

计量经济学

研究对象:量化的社会经济问题

研究目的:利用已有信息,通过模型发现内在机理,并对未知信息作出统计推断

核心问题:保证模型反映数据所代表的主要信息,降低噪声干扰项的影响,保证模型的预测准确性

模型包含的信息量能否尽可能大?不能。一是干扰信息无法避免;二是若模型包含了全部信息,则模型的复杂度也会相应提高,相应地会提高经济学成本;三是人无法对模型的准确性做出客观而科学的评断。

信息论

信息熵:信源发出的信息中包含的不确定性大小

math?formula=H(u)%20%3D%20E(I(a_i))%20%3D%20-%20%5Csum_%7Bi%3D1%7D%20%5En%20p(a_i)%20%5Cmathrm%7Blog%7D%20p(a_i)

最大熵:衡量通信信息有效性和可靠性的概念,当信息过少时,信息传递的有效性、可靠性降低,当信息过多时,信息传递的经济性降低。类似地,在模型识别中需要在拟合效果和参数个数之间达到均衡。

K-L距离/K-L信息量:表示真实概率分布和估计分布的差异,K-L信息量越小,估计的概率分布蕴含的信息越能反映真实分布。它是对传统似然估计、最小二乘估计思路的拓展,这两种估计仅从样本信息出发,要求模型最佳地拟合样本数据,而忽略了总体信息,所以还必须对样本施加额外的要求。

math?formula=P(x)表示定义在事件空间上的概率,当用

math?formula=Q(x)进行编码时,定义K-L距离为:

math?formula=D(P%7C%7CQ)%20%3D%20%5Cint%20%5Cmathrm%7Bln%7D%20%5Cfrac%7BP(x)%7D%7BQ(x)%7D%20dx%20%3D%20%5Csum_%7Bx%20%5Cin%20%5COmega%7D%20P(x)%20%5Cmathrm%7Bln%7D%20%5Cfrac%7BP(x)%7D%7BQ(x)%7D%20%5C%5C%5C%5C%20%3D%20E(%5Cmathrm%7Bln%7D%20%5Cfrac%7BP(x)%7D%7BQ(x)%7D%20)

常见模型识别方法

对于时间序列模型滞后阶数和模型选择问题,AIC准则之外常见的有假设检验、极大似然函数、

math?formula=C_p统计量法。这些法则的共同点在于:从残差控制或样本信息反映总体信息大小角度评价,充分考虑每个样本,主要提高模型有效性,忽略模型可靠性。此外每种方法还各自存在不足:

假设检验:

需要主观确定显著性水平

存在不对称性:

math?formula=a 证实和证伪不对称:从逻辑学上说,没有可以得到彻底证实的东西,而证伪只需要一次足够强的证据即可;

math?formula=b 犯第一类错误和第二类错误不对称性:从统计学上说,假设检验中一般只控制犯第一类错误的概率,导致犯第一类错误的概率较小,而犯第二类错误的概率可能较大;

math?formula=c 经济意义和统计意义不对称性:从经济学上说,假设检验是基于数据的统计学方法,统计显著的结果在实际中可能不显著。

极大似然估计

前提:需要假定随机样本服从某个概率分布,未知参数的值应当使得样本的似然函数值达到最大。

特点:在利用样本反映总体信息上达到最优,模型的可靠性很高

不足:模型的有效性较低,当参数个数增加时,极大似然估计可以无限接近总体情况。

math?formula=C_p统计量

通过对模型预测误差进行控制,并用总体方差进行调整。

math?formula=C_p%20%3D%20%5Cfrac%7BSSE_p%7D%7B%5Chat%7B%5Csigma%7D%5E2%7D%20-%20n%20%2B%202p

主要存在的问题在于总体方差较难估计。

最终预报误差

优点:通过对预测误差的控制实现模型选择,而非从样本信息反映总体信息程度角度。

理解:最终预报误差是损失函数的一种测度,损失函数越小,表明样本信息提取的越充分,模型用于预测的效果越好。

公式:对于AR(n)模型,最终预报误差为:

math?formula=FPE(n)%20%3D%20%5Cfrac%7BN%2Bn%7D%7BN-n%7D(%5Cgamma(0)%20-%20%5Csum_%7Bi%3D1%7D%5En%20%5Chat%7B%5Cphi%7D_i%20%5Cgamma%20_i)

一般模型拟合阶数最高不会超过样本量的

math?formula=%5Cfrac2%203

AIC准则及其改进

AIC准则

math?formula=AIC%20%3D%20-2l(%5Chat%7B%5Ctheta%7D)%20%2B%202k

AIC准则的第一部分是极大似然函数的对数,是从样本信息对总体信息的反映程度即模型拟合情况考虑的;第二部分是对第一部分的惩罚,达到满足模型有效性和可靠性条件下参数个数最少。

AIC准则突破了以往仅从模型拟合情况的评价标准,其出发点是最小化信息论中的K-L距离(相对熵),需要同时满足有效性、可靠性和经济性。AIC值越小,估计概率分布越接近真实分布。

大样本条件下,AIC准则中第二部分的惩罚较小,第一项起主导作用,最优模型不收敛于真实情况。

从FPC准则到AIC准则的改进表示了从预测因变量到预测因变量分布的本质变化。

AIC准则的改进

BIC/SBC准则(贝叶斯信息准则)

math?formula=BIC%20%3D%20-2l(%5Chat%7B%5Ctheta%7D)%20%2B%20k%20%5Cmathrm%7Bln%7D%20n

BIC准则第二项中引入后验概率

math?formula=%E5%90%8E%E9%AA%8C%E6%A6%82%E7%8E%87%20%5Cpropto%20%E5%85%88%E9%AA%8C%E6%A6%82%E7%8E%87%20%5Ctimes%20%E4%BC%BC%E7%84%B6%E5%80%BC%EF%BC%88%E6%A0%B7%E6%9C%AC%E4%BF%A1%E6%81%AF%EF%BC%89将样本量个数作为模型优化的因素,考虑了样本量对真实模型估计的影响,在大样本条件下估计效果更好。

小样本情况下AIC准则第二项约束更强,大样本条件下BIC准则第二项约束更强。一般当样本量大于35时使用BIC准则。

AIC准则应用

模型定阶和模型选择

独立性检验

列联表独立性检验中,对数似然函数为

math?formula=l%20%3D%20%5Csum_i%20%5Csum_j%20n(i%2Cj)%20%5Cmathrm%7Bln%7D%20p(i%2Cj)当对模型没有限制时,取

math?formula=p(i%2Cj)%20%3D%20n(i%2Cj)%2FN可得最大似然函数值,且参数

math?formula=p(i%2Cj)中可自由取值的个数为

math?formula=rc-1,此时AIC信息量为

math?formula=AIC_1%3D(-2)%5Csum_i%20%5Csum_j%20n(i%2Cj)%20%5Cmathrm%7Bln%7D%20%5Cfrac%7Bn(i%2Cj)%7D%7BN%7D%2B2%5Ccdot%20(rc%20-%201)当对模型有独立性限制时,

math?formula=p(i%2Cj)%20%3D%20p(i%2C%20%5Ccdot)%20p(%5Ccdot%2Cj)%2C%20%5Csum_%7Bi%7Dp(i%2C%5Ccdot)%20%3D%201%2C%5Csum_%7Bj%7D%20p(%5Ccdot%2C%20j)%20%3D%201因此可自由取值的参数个数为

math?formula=(r-1)(c-1),且取

math?formula=p(i%2Cj)%20%3D%20%5Cfrac%7BN(i%2C%5Ccdot)%7D%7BN%7D%5Ccdot%20%5Cfrac%7BN(%5Ccdot%2Cj)%7D%7BN%7D时似然函数值达到最大,相应地可以计算出

math?formula=AIC_2

math?formula=AIC_2%20%3CAIC_1则应当采用有独立性约束模型。

相比

math?formula=%5Cchi%5E2独立性检验,AIC准则不需要主观决定显著性水平的值,因此AIC准则可以用于统计分析自动化。

方差分析

主要考虑方差分析模型中交互效应显著性问题。

math?formula=AIC%20%3D%20N%5Cmathrm%7Bln%7D%20(%E6%AE%8B%E5%B7%AE%E5%B9%B3%E6%96%B9%E5%92%8C)%20%2B%202(%E8%87%AA%E7%94%B1%E5%BA%A6)

因子分析模型

利用AIC准则确定公共因子的个数,使得公共因子既能解释原始变量较多的信息,又不会因为公共因子过多而造成解释信息冗余、增加解释既有因子的复杂度,同时减少了根据贡献率选择公共因子个数时的主观性作用。

math?formula=AIC%20%3D%20-2%20%5Cmathrm%7Bln%7D%20(l(%5Ctheta))%20%2B%202(%E5%8F%82%E6%95%B0%E4%B8%AA%E6%95%B0)其中,

math?formula=%5Cmathrm%7Bln%7D%20(l(%5Ctheta))%3D%20-%5Cfrac1%202%20N%5B%5Cmathrm%7Bln%7D%20%7C%5CSigma_k%7C%20%2B%20tr(%5CSigma_k%5E%7B-1%7DS)%5D

math?formula=S%20%3D%20%5Cfrac1%20N%20%5Csum%20(y_i%20-%20%5Cbar%20%7By%7D)(y_i-%5Cbar%7By%7D)'

math?formula=%5CSigma_k%20%3D%20A_KA_K'%20%2B%20D_k

参考文献:

[1] 李子奈.计量经济学模型方法论的若干问题[J].经济动态,2007(10):22-30.

[2] 陈晓峰.AIC准则及其在计量经济学中的应用研究[D].天津:天津财经大学,2012.

[3] 刘璋温.赤池信息量准则 AIC 及其意义[J].数学的实践与认识,1980(03):64-72.

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/142117.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号