消息传递式斯坦变分梯度下降
摘要：Stein变分梯度下降（SVGD）是一种最近提出的基于粒子的贝叶斯推断方法，由于其显著的逼近能力和与传统变分推断和马尔可夫链蒙特卡洛方法相比的粒子效率而受到了广泛关注。然而，我们观察到SVGD的粒子往往会陷入目标分布的模式中，而且随着维数的增加，这种粒子退化现象变得更加严重。我们的理论分析发现，维数与SVGD的斥力之间存在负相关性，应该将其归咎于这种现象。我们提出了消息传递SVGD（MP-SVGD）来解决这个问题。通过利用概率图模型（PGMs）的条件独立结构，MP-SVGD将原始的高维全局推断问题转化为一组在较低维度的马尔可夫毯上的局部问题。实验结果显示，相对于SVGD，在高维空间中防止斥力消失的优势以及在图模型上的粒子效率和逼近灵活性。
作者：Jingwei Zhuo, Chang Liu, Jiaxin Shi, Jun Zhu, Ning Chen, Bo Zhang
论文ID：1711.04425
分类：Machine Learning
分类简称：stat.ML
提交时间：2018-06-11