贝叶斯回归树模型的高效Metropolis-Hastings提议机制
摘要：贝叶斯回归树是灵活的非参数模型，非常适用于许多现代统计回归问题。有许多这样的树模型被提出，从简单的单一树模型到更复杂的树集成模型。它们的非参数形式允许对展现模型预测变量和观测之间复杂非线性关系的数据集进行有效和高效的建模。然而，马尔可夫链蒙特卡罗(MCMC)采样器的混合行为有时很差。这是因为采样器中的建议通常是对树结构的局部调整，如叶子节点的生成/删除，这不允许对模型空间进行高效遍历。这种差劲的混合会导致推断问题，例如对不确定性进行欠表示。在本文中，我们开发了一种用于高效采样的新型建议机制。第一个是规则扰动建议，而第二个我们称之为树旋转。扰动建议可以看作是现有文献中找到的变化建议的高效变体。新的树旋转建议很容易实现，因为它只需要对回归树结构进行局部改变，但它能够有效地沿着等概率轮廓遍历模型空间的不同区域。当与经典的生成/删除建议结合使用时，得到的MCMC采样器具有良好的接受率，并且能够正确表示后验样本中的模型不确定性。我们将这个采样算法应用于贝叶斯附加回归树(BART)模型中，并在一个计算机实验的预测问题和需要完全探索后验的结构树变异的一个测试函数上展示了它的有效性。
作者：M.T. Pratola
论文ID：1312.1895
分类：Computation
分类简称：stat.CO
提交时间：2013-12-09