截断变分采样用于生成模型的“黑盒”优化
摘要：优化两个具有二进制潜在变量的概率生成模型，采用一种新的变分EM方法。这种方法与以前的变分方法不同之处在于使用潜在状态作为变分参数。我们利用高效且通用的采样过程来改变潜在状态，并研究结果优化过程的“黑盒”适用性。为了实现通用适用性，从考虑的生成模型的近似边缘分布以及模型的先验分布中抽取样本。因此，变分采样以一种通用的形式定义，并且对于给定的模型是可以直接执行的。作为概念验证，我们将这种新方法分别应用于二进制稀疏编码(一个具有连续可观测变量的模型)和基本Sigmoid信念网络(这些模型具有二进制可观测变量)。数值实验证明，所研究的方法可以有效地提高变分自由能目标，而不需要任何额外的分析步骤。
作者：J"org L"ucke, Zhenwen Dai, Georgios Exarchakis
论文ID：1712.08104
分类：Machine Learning
分类简称：stat.ML
提交时间：2018-02-26