EM算法定义

输入：观测变量数据X，隐变量数据Z,联合分布$P(X,Z|\theta)$

输出：模型参数$\theta$

(1)选择初始模型参数$\theta^{(0)}$，开始迭代

(2)E步：记$\theta^{i}$为第i次迭代参数$\theta$的估计值，计算在第i次迭代的期望$$Q(\theta,\theta^{(i)}) = E(logP(x,z|\theta)|x,\theta^{{(i)}))=\int_zlogp(x,z|\theta)p(z|\theta}{(i)})$$
(3)M步：求使$\theta^{(i+1)} = Q(\theta,\theta^{(i)})的最大值$

(4)重复第(2)步和第(3)步

EM算法几点说明

(1)参数的初值可以任意选择，但需注意EM算法初始是敏感的

(2)E步求$Q(\theta,\theta^{(i)})$,Q函数种的Z是为观测数据，X是观测数据，$Q(\theta,\theta^{(i)})$中的第一个变元表示要极大化的参数，第二个变元表示参数的当前估计值，每次迭代实际在求Q的极大值

(3)给出停止迭代的条件，一般是对较小的正数$\xi_i,\xi_2$,若满足$||\theta^{(i+1)} – \theta^{(i)} < \xi_i||或||Q(\theta^{(i+1)},\theta^{(i)})-Q(\theta^{(i)},\theta^{(i)})|| < \xi_2$

EM算法推导

\[L(\theta)= argmaxlogP(x|\theta) = argmaxlog\int_zp(x,z|\theta)dz \]

\[L(\theta) = argmaxlog\int_z\frac{p(x,z|\theta)}{p(z|\theta^{(i)})}p(z|\theta^{(i)})dz \]

由于log函数为凹函数，则$$L(\theta) \geq \int_zlog\frac{p(x,z|\theta)}{p(z|\theta^{{(i)})}p(z|\theta}{(i)})dz$$

\[L(\theta) \geq \int_zlogp(x,z|\theta)p(z|\theta^{(i)})dz – \int_zlog(p(z|\theta^{(i)}))p(z|\theta^{(i)})dz \]

由于减式后面与模型参数$\theta$无关，$P(z|\theta^{(i)})是已知的$，所以只需关注减式前面的式自，令$$Q(\theta,\theta^{{(i)})=\int_zlogp(x,z|\theta)p(z|\theta}{(i)})$$

和算法定义中的步骤(2)相同，将原L的优化问题转换为求原问题下界$Q(\theta,\theta^{(i)})$的最大值

因此，任何可以使$Q(\theta,\theta^{(i)})$增大的$\theta$都可以使$L(\theta)$增大,为了使$L(\theta)$有尽可能的增长，选择使$Q(\theta,\theta^{(i)})$达到最大，即$$\theta^{(i+1)} = argmaxQ(\theta,\theta^{(i)})$$