高斯过程模型的MCMC方法，利用快速近似计算似然函数
摘要：高斯过程（GP）模型是一种强大而灵活的非参数回归和分类工具。由于计算协方差函数参数的后验密度$pi$需要计算协方差矩阵C，这是一项$pn^2$的操作，其中p是协变量的数量，n是训练样本的数量，并且需要对C进行求逆，这是一项$n^3$的操作，因此GP模型的计算非常密集。我们引入了基于“临时映射和缓存”框架的MCMC方法，使用快速近似$pi^*$作为构建临时空间所需的分布。我们在此方案下提出了两种实现方式：“映射到离散化链”和“映射与调和转换”，这两种方法在采样$pi$时都是完全正确的MCMC方法，即使它们的转换是基于一个近似构建的。当调整参数设置为最简单的值时，这些方法是等效的，但一般情况下它们有所不同。我们比较了使用几种近似方法时这些方法的工作效果，发现在合成数据集上，基于“数据子集”（SOD）方法的$pi^*$几乎总是比仅使用$pi$的标准MCMC更高效。在某些数据集上，基于“Nystr"om-Cholesky"方法的更复杂的$pi^*$比SOD方法效果更好。
作者：Chunyi Wang and Radford M. Neal
论文ID：1305.2235
分类：Computation
分类简称：stat.CO
提交时间：2013-05-13