截断变分期望最大化
摘要：基于截断后验分布，我们得到了一个新颖的变分期望最大化方法。截断分布在离散状态空间的子集中与精确后验成比例，在其他情况下等于零。将分布的子集视为变分参数使得这种方法与先前的变分方法有所区别。截断分布的特定结构使得可以推导出新颖且数学上合理的结果，而这些结果可以用于制定新颖且高效的概率生成模型参数优化算法。最重要的是，我们发现对应于截断分布的变分下限可以用非常简洁且高效计算的表达式表示，而模型参数的更新方程保持其标准形式。基于这些发现，我们展示了如何制定高效且易于应用的元算法，以保证变分下限的单调增加。基于我们所得到的框架的示例应用提供了潜变量模型和混合模型的新颖理论结果和学习过程。此外，我们还展示了截断变分EM自然地在标准EM与基于最大后验状态（MAP）的EM之间插值。因此，该方法可以被看作是对流行的“硬EM”方法的一种推广，以实现类似的高效方法，可以捕捉更多真实后验结构。
作者：J"org L"ucke
论文ID：1610.03113
分类：Machine Learning
分类简称：stat.ML
提交时间：2019-07-12