初始超参数的先验如何影响高斯过程回归模型
摘要：高斯过程回归（GPR）模型中的超参数通常通过最大边际似然从数据中估计。由于边际似然对超参数的非凸性，优化问题可能无法收敛到全局最大值。解决这个问题的常见方法是使用从特定先验分布中随机选择的多个起点。因此，先验分布的选择在此方法的可预测性中可能起到至关重要的作用。然而，文献中对先验分布对超参数估计和GPR性能的影响几乎没有研究。本文通过模拟和真实数据实验对这个问题进行了首次实证研究。我们考虑了一些常用核函数的超参数的不同类型的先验，并研究了先验对GPR模型可预测性的影响。结果表明，一旦选择了核函数，不同的超参数初始化的先验对GPR预测的性能没有显著影响，尽管在某些情况下，超参数的估计值与真实值非常不同。
作者：Zexun Chen and Bo Wang
论文ID：1605.07906
分类：Machine Learning
分类简称：stat.ML
提交时间：2018-01-15