使用割线更新近似高阶导数张量
摘要：拟牛顿方法采用一种更新规则，通过已有的梯度评估逐步改进海森矩阵的近似。我们提出了高阶切线更新公式，将这个思想推广到高阶导数上，例如利用给定的海森矩阵评估来近似三阶导数（张量）。我们的推广基于一个观察结果，即拟牛顿更新是满足切线方程的最小改变更新，不同的方法使用不同的范数来衡量改变的大小。我们在带权重的Frobenius范数中提出了最小改变更新的完整刻画（满足切线方程的类似情况），适用于任意阶导数。此外，我们在标准假设下证明了近似导数的收敛性，并在数值实验中探讨了生成近似的质量。
作者：Karl Welzel and Raphael A. Hauser
论文ID：2301.11678
分类：Optimization and Control
分类简称：math.OC
提交时间：2023-08-16