广义伴随-差分拉普拉斯近似
摘要：潜在高斯模型(LGMs)中使用的层次先验诱导了一个容易使推理算法受挫的后验几何结构。使用综合Laplace近似消除了不良几何结构，使得我们能够在超参数上进行高效的推理。为了使用基于梯度的推理，我们需要计算近似边缘似然及其梯度。利用伴随差分Laplace近似，可以对边缘似然函数进行微分，并且对超参数的维度进行良好的缩放。尽管这种方法可以应用于具有任何先验协方差的LGMs，但它只适用于具有对角Hessian矩阵的似然函数。此外，该算法需要计算似然函数的前三个导数，目前的实现依赖于解析导数。我提出了一种能够适用于更广泛的似然函数类别并且不需要似然函数的解析导数的推广方法。数值实验表明，这种增加的灵活性并不增加计算成本：在标准LGM上，新方法实际上比现有的伴随差分Laplace近似略快。我还将这种通用方法应用于具有非常规似然函数的LGM。这个例子突显了算法的潜力，同时也揭示了持续存在的挑战。
作者：Charles C. Margossian
论文ID：2306.14976
分类：Computation
分类简称：stat.CO
提交时间：2023-06-28