高斯变分近似中用于Cholesky分解的解析自然梯度更新
摘要：高维模型的变分推断已经得到了随机梯度方法的支持。然而，在统计模型的参数空间中，最陡的上升方向实际上是由自然梯度给出的，它通过将广泛使用的欧几里德梯度与逆Fisher信息相乘来进行预处理。使用自然梯度可以提高收敛性，但是在高维情况下翻转Fisher信息矩阵是困难的。在高斯变分近似中，可以通过解析方法导出正态分布的均值和精度的自然梯度更新，但并不能确保精度矩阵保持正定。为了解决这个问题，我们考虑协方差或精度矩阵的Cholesky分解，并导出了依赖于对数后验密度的一阶或二阶导数的Cholesky因子的解析自然梯度更新。还导出了表示不同后验相关结构的稀疏约束下的Cholesky因子的高效自然梯度更新。由于Adam自适应学习率在自然梯度中效果不好，我们提出了带有动量的随机归一化自然梯度上升算法。通过逻辑回归和广义线性混合模型展示了所提出方法的效率。
作者：Linda S. L. Tan
论文ID：2109.00375
分类：Computation
分类简称：stat.CO
提交时间：2023-01-02