主要记录下几个文章博客内容 A Note on EM Algorithm for Probabilistic Latent SemanticAnalysis(翟成祥的NOTE) A Note on EM Algorithm and PLSA(一个中文比较好的总结 by Xinyan Lu) 注意这两个是一个思路 Probabilistic Latent Semantic Analysis (原论文) 原论文是另一个思路 Notes on Probabilistic Latent Semantic Analysis (PLSA)(这个里面对比了两种不同思路,原论文与翟成祥NOTE,Xinyan Lu中文总结 分布对应这两种思路)
先看第一种思路,这个更好理解一点典型的EM算法 hidden/latent variable 是主题Z,p(d)对于我们的计算可忽略,最后面那个博客的总结证明更完整。 类似前面的混合高斯模型,这里实际Estep要估算的就是对应d,w 情况下Z的概率 Estep 对比前面高斯模型 具体一个观察点情况下对应到隐藏分类的概率 解释下 sum_z(p(z|d)p(w|z))= p(w|d) p(d)p(w|d)p(z|d,w) = p(d,w,z) => p(w|d)p(z|d,w) = p(d,w,z)/p(d) = p(w,z|d)=p(z|d)p(w|z) => p(z|w,d) = p(z|d)(pw|z) / p(w|d) 对比NG的课件 如果我们考虑背景噪音,翟成祥的NOTE更进一步给出了在这个基础上稍微复杂一点的MODLE和结果
第二种思路
stanford的NLP课件是一个比较好的总结这里记录下。http://www./class/cs224n/handouts/fsnlp-em-slides.pdf MLE
引入hidden variable让计算变的容易,因为确定了具体哪个part model产生
下面是这个课件独有的,EM made easy其实作者也是想证明Qfunction怎么获得的,思路和总结2中殊途同归,不过没有用log直接用概率*,利用artithmetic means >= geometric means |
|