matlab空间计量AIC准则,关于AIC准则

AIC准则提出背景

计量经济学

研究对象：量化的社会经济问题

研究目的：利用已有信息，通过模型发现内在机理，并对未知信息作出统计推断

核心问题：保证模型反映数据所代表的主要信息，降低噪声干扰项的影响，保证模型的预测准确性

模型包含的信息量能否尽可能大？不能。一是干扰信息无法避免；二是若模型包含了全部信息，则模型的复杂度也会相应提高，相应地会提高经济学成本；三是人无法对模型的准确性做出客观而科学的评断。

信息论

信息熵：信源发出的信息中包含的不确定性大小

最大熵：衡量通信信息有效性和可靠性的概念，当信息过少时，信息传递的有效性、可靠性降低，当信息过多时，信息传递的经济性降低。类似地，在模型识别中需要在拟合效果和参数个数之间达到均衡。

K-L距离/K-L信息量：表示真实概率分布和估计分布的差异，K-L信息量越小，估计的概率分布蕴含的信息越能反映真实分布。它是对传统似然估计、最小二乘估计思路的拓展，这两种估计仅从样本信息出发，要求模型最佳地拟合样本数据，而忽略了总体信息，所以还必须对样本施加额外的要求。

设

表示定义在事件空间上的概率，当用

进行编码时，定义K-L距离为：

常见模型识别方法

对于时间序列模型滞后阶数和模型选择问题，AIC准则之外常见的有假设检验、极大似然函数、

统计量法。这些法则的共同点在于：从残差控制或样本信息反映总体信息大小角度评价，充分考虑每个样本，主要提高模型有效性，忽略模型可靠性。此外每种方法还各自存在不足：

假设检验：

需要主观确定显著性水平

存在不对称性：

证实和证伪不对称：从逻辑学上说，没有可以得到彻底证实的东西，而证伪只需要一次足够强的证据即可；

犯第一类错误和第二类错误不对称性：从统计学上说，假设检验中一般只控制犯第一类错误的概率，导致犯第一类错误的概率较小，而犯第二类错误的概率可能较大；

经济意义和统计意义不对称性：从经济学上说，假设检验是基于数据的统计学方法，统计显著的结果在实际中可能不显著。

极大似然估计

前提：需要假定随机样本服从某个概率分布，未知参数的值应当使得样本的似然函数值达到最大。

特点：在利用样本反映总体信息上达到最优，模型的可靠性很高

不足：模型的有效性较低，当参数个数增加时，极大似然估计可以无限接近总体情况。

统计量

通过对模型预测误差进行控制，并用总体方差进行调整。

主要存在的问题在于总体方差较难估计。

最终预报误差

优点：通过对预测误差的控制实现模型选择，而非从样本信息反映总体信息程度角度。

理解：最终预报误差是损失函数的一种测度，损失函数越小，表明样本信息提取的越充分，模型用于预测的效果越好。

公式：对于AR(n)模型，最终预报误差为：

一般模型拟合阶数最高不会超过样本量的

AIC准则及其改进

AIC准则

AIC准则的第一部分是极大似然函数的对数，是从样本信息对总体信息的反映程度即模型拟合情况考虑的；第二部分是对第一部分的惩罚，达到满足模型有效性和可靠性条件下参数个数最少。

AIC准则突破了以往仅从模型拟合情况的评价标准，其出发点是最小化信息论中的K-L距离(相对熵)，需要同时满足有效性、可靠性和经济性。AIC值越小，估计概率分布越接近真实分布。

大样本条件下，AIC准则中第二部分的惩罚较小，第一项起主导作用，最优模型不收敛于真实情况。

从FPC准则到AIC准则的改进表示了从预测因变量到预测因变量分布的本质变化。

AIC准则的改进

BIC/SBC准则(贝叶斯信息准则)

BIC准则第二项中引入后验概率

将样本量个数作为模型优化的因素，考虑了样本量对真实模型估计的影响，在大样本条件下估计效果更好。

小样本情况下AIC准则第二项约束更强，大样本条件下BIC准则第二项约束更强。一般当样本量大于35时使用BIC准则。

AIC准则应用

模型定阶和模型选择

独立性检验

列联表独立性检验中，对数似然函数为

当对模型没有限制时，取

可得最大似然函数值，且参数

中可自由取值的个数为

，此时AIC信息量为

当对模型有独立性限制时，

因此可自由取值的参数个数为

，且取

时似然函数值达到最大，相应地可以计算出

。

若

则应当采用有独立性约束模型。

相比

独立性检验，AIC准则不需要主观决定显著性水平的值，因此AIC准则可以用于统计分析自动化。

方差分析

主要考虑方差分析模型中交互效应显著性问题。

因子分析模型

利用AIC准则确定公共因子的个数，使得公共因子既能解释原始变量较多的信息，又不会因为公共因子过多而造成解释信息冗余、增加解释既有因子的复杂度，同时减少了根据贡献率选择公共因子个数时的主观性作用。

其中,

参考文献：

[1] 李子奈.计量经济学模型方法论的若干问题[J].经济动态,2007(10):22-30.

[2] 陈晓峰.AIC准则及其在计量经济学中的应用研究[D].天津:天津财经大学,2012.

[3] 刘璋温.赤池信息量准则 AIC 及其意义[J].数学的实践与认识,1980(03):64-72.