主题模型中的变分推断不稳定性
摘要：主题模型是经常用于捕捉某些文档或图像语料库的潜在结构的贝叶斯模型。该语料库中的每个数据元素（例如科学文章集合中的每个项目）被认为是对应于“主题”或“组件”的少量向量的凸组合。假设这些权重具有狄利克雷先验分布。近似后验的标准方法是使用变分推断算法，特别是平均场逼近方法。 我们表明该方法存在一种不稳定性，可能导致误导性结论。换句话说，在某些模型参数的范围内，变分推断会输出一个非平凡的主题分解。然而，在相同的参数值下，数据并不包含有关真实分解的任何实际信息，因此算法的输出与真实主题分解不相关。估计的后验均值明显错误，估计的贝叶斯可信区间无法达到名义覆盖度。我们讨论了如何通过更准确的平均场逼近方法来纠正这种不稳定性。
作者：Behrooz Ghorbani, Hamid Javadi, Andrea Montanari
论文ID：1802.00568
分类：Machine Learning
分类简称：stat.ML
提交时间：2018-02-05