非共轭模型中的变分推断
摘要：均值场变分法广泛用于近似后验推断许多概率模型中。在典型应用中，均值场方法通过协同最优化算法近似计算后验概率。当模型是条件共轭时，坐标更新可以很容易得出并闭合形式呈现。然而，许多感兴趣的模型（如相关主题模型和贝叶斯逻辑回归）是非共轭的。在这些模型中，均值场方法不能直接应用，从而需要从案例到案例开发变分算法。在本文中，我们发展了两种用于非共轭模型的通用方法：拉普拉斯变分推断和Delta方法变分推断。我们的方法具有以下几个优点：它们允许具有广泛非共轭模型的易于推导的变分算法；它们扩展并统一了一些针对特定模型导出的现有算法；它们在真实数据集上表现良好。我们研究了我们的方法在相关主题模型、贝叶斯逻辑回归和分层贝叶斯逻辑回归上的应用。
作者：Chong Wang and David M. Blei
论文ID：1209.4360
分类：Machine Learning
分类简称：stat.ML
提交时间：2013-03-14