随机梯度马尔可夫链蒙特卡洛中的粒子优化
摘要：随机梯度马尔可夫链蒙特卡罗（SG-MCMC）由于能够处理大数据而在贝叶斯学习中越来越受欢迎。标准的SG-MCMC算法模拟从一个离散时间马尔可夫链中抽样，以逼近目标分布。然而，由于顺序生成过程，这些样本通常高度相关，这是SG-MCMC中的一个不希望的属性。相反，Stein变分梯度下降（SVGD）直接优化一组粒子，并且能够用更少的样本逼近目标分布。在本文中，我们提出了一种新的方法，从头开始直接优化SG-MCMC中的粒子（或样本）。具体而言，我们提出了有效的方法来解决概率分布空间上对应的Fokker-Planck方程，其解（即分布）由粒子逼近。通过我们的框架，我们能够展示SG-MCMC与SVGD以及看似不相关的生成对抗网络框架之间的联系。在某些松弛条件下，SG-MCMC中的粒子优化可以解释为标准SVGD的一个延伸，其中包含动量。
作者：Changyou Chen and Ruiyi Zhang
论文ID：1711.10927
分类：Machine Learning
分类简称：stat.ML
提交时间：2017-11-30