【EM算法】理论篇

2017年11月09日

Author: Guofei

文章归类: 2-1-有监督学习，文章编号: 280

版权声明：本文作者是郭飞。转载随意，但需要标明原文链接，并通知本人
原文链接：https://www.guofei.site/2017/11/09/em.html

简介

EM算法(Expectation Maximization),是一种求解极大似然估计参数的算法。
很多的机器学习或统计模型中，要用到最大似然估计。
而最大似然估计的求参数过程牵涉到最优化问题。
EM算法就是可以求解这一类问题的算法。
可以应用于GMM，HMM等模型

EM算法的每次迭代由两步组成：E步求期望，M步求极大。

EM算法

输入：观测变量数据Y, 隐含变量数据Z, 联合分布P(Y,Z∣θ)P(Y,Z∣θ), 条件分布P(Z∣Y,θ)P(Z∣Y,θ)
输出：模型参数θθ

step1 : 选择初始值θ0θ0,开始迭代
step2 ：E步Q(θ,θi)=EZ[logP(Y,Z∣θ)∣Y,θi]=∑ZlogP(Y,Z∣θ)P(Z∣Y,θi)Q(θ,θi)=EZ[log⁡P(Y,Z∣θ)∣Y,θi]=∑Zlog⁡P(Y,Z∣θ)P(Z∣Y,θi)
step3 : M步,θi+1=argmaxθQ(θ,θi)θi+1=arg⁡maxθQ(θ,θi)
step4 : 回到step2，直到达到收敛条件。
收敛条件一般是∣∣θi+1−θi∣∣<ε∣∣θi+1−θi∣∣<ε,或者∣∣Q(θi+1,θi)−Q(θi,θi)∣∣<ε∣∣Q(θi+1,θi)−Q(θi,θi)∣∣<ε

说明

参数初值可以任意选择，但EM算法对初值敏感
EM算法不能保证找到全局最优1

参考资料

您的支持将鼓励我继续创作！

【EM算法】理论篇