并行淬火与变分参考
摘要：从复杂的目标分布中进行抽样是贝叶斯推断的一项具有挑战性的任务。并行退火(PT)通过在序列分布的扩展状态空间上构造马尔可夫链来解决这个问题，这些分布在后验分布和一个固定的参考分布之间进行插值，通常选择为先验分布。然而，在先验和后验几乎是互相奇异的典型情况下，PT方法在计算上是禁止的。在这项工作中，我们通过构造连接后验和自适应调整的变分参考的广义退火路径来解决这个挑战。参考分布通过使用简单的无梯度匹配矩的过程来最小化前向(inclusive)KL散度到后验分布进行调整。我们展示了我们的自适应过程收敛到前向KL最小化器，并且前向KL散度作为PT性能的先前开发度量的很好代理。我们还展示了在典型贝叶斯模型的大数据极限下，所提出的方法在性能上有所改进，而传统的PT方法则任意恶化。最后，我们引入了两个参考的PT方法——一个固定参考和一个变分参考——以确保稳定的变分参考适应的新型分裂退火路径。论文最后通过实验证明了我们的方法在广泛的现实贝叶斯推断场景中取得的巨大实证收益。
作者：Nikola Surjanovic, Saifuddin Syed, Alexandre Bouchard-C^ot''e, Trevor Campbell
论文ID：2206.00080
分类：Computation
分类简称：stat.CO
提交时间：2023-01-18