多面体上的快速MCMC采样算法
摘要：提出并分析了两种新的MCMC采样算法，即Vaidya Walk和John Walk，用于从多面体上生成均匀分布的样本。这两种随机游走算法都是由内点法导出的抽样算法。前者基于Vaidya引入的容积对数障碍，而后者使用了John的椭球体。我们证明了Vaidya Walk的混合步数显著少于过去研究中基于对数障碍的Dikin Walk。对于由$n>d$个线性约束定义的$\mathbb{R}^d$中的多面体，我们证明了从热启动开始混合时间的上界为$\mathcal{O}(n^{0.5}d^{1.5})$，而Dikin Walk的混合时间界为$\mathcal{O}(nd)$。Vaidya Walk每一步的成本与Dikin Walk的成本相同，至多只是常数前因子的两倍。对于John Walk，我们证明了其混合时间的上界为$\mathcal{O}(d^{2.5}\cdot\log^4(n/d))$，并猜想其改进变体可以达到$\mathcal{O}(d^2\cdot\text{polylog}(n/d))$的混合时间。此外，我们提出了Vaidya Walk和John Walk的变种，可以从确定性起点在多项式时间内混合。Vaidya Walk相对于Dikin Walk的加速效果在数值示例中得到了证明。
作者：Yuansi Chen, Raaz Dwivedi, Martin J. Wainwright, Bin Yu
论文ID：1710.08165
分类：Machine Learning
分类简称：stat.ML
提交时间：2019-03-07