基于交叉验证的高斯过程模型自适应采样
摘要：高斯过程模拟器用于逼近复杂计算代码的输出。我们考虑逐步扩展初始实验以改进模拟器的问题。我们提出了一种基于留一法交叉验证的顺序采样方法，可以方便地扩展到批处理模式。在将高斯过程拟合到训练数据点后，计算每个设计点的期望平方留一错误（ES-LOO）。ES-LOO被用作识别重要数据点的指标。具体来说，当此数量在一点上较大时，这意味着预测质量在很大程度上取决于该点，而在附近添加更多样本可以提高高斯过程的准确性。因此，选择ES-LOO最大的下一个样本是合理的。然而，ES-LOO仅在实验设计时已知，并需要对未观察到的点进行估计。为了做到这一点，我们根据ES-LOO错误拟合第二个高斯过程，并选择修改后的期望改进（EI）准则的最大值出现的位置作为下一个样本。EI是贝叶斯优化中常用的获取函数，用于在局部和全局搜索之间进行权衡。然而，它有一种向剥削的倾向，意味着其最大值接近（当前的）“最佳”样本。为了避免聚类，采用了EI的修改版本，称为伪期望改进，它比EI更有探索性，但仍允许我们发现未被探索的区域。我们的结果显示，所提出的采样方法具有很大的潜力。
作者：Hossein Mohammadi, Peter Challenor, Daniel Williamson, Marc Goodfellow
论文ID：2005.01814
分类：Computation
分类简称：stat.CO
提交时间：2022-03-22