牛顿法的另一种快速变种用于非凸优化
摘要：一种用于最小化光滑非凸函数的二阶算法类别被提出，该算法在迭代依赖的子空间中交替使用正则化牛顿和负曲率步骤。在大多数情况下，Hessian矩阵通过当前梯度的平方根进行正则化，并考虑了适度的负曲率，只在个别情况下采取负曲率步骤。我们详细介绍了实际变体，其中子空间选择为全空间或Krylov子空间。在第一种情况下，所提出的方法几乎在所有迭代中只需要解一个线性系统。我们证明在新类别的算法中，为了获得一个$\epsilon$-近似的一阶最小化解，最多需要进行$\mathcal{O}\left(|\log\epsilon|, \epsilon^{-3/2}\right)$次目标函数和导数的计算，而获得二阶解最多需要进行$\mathcal{O}\left(|\log\epsilon|, \epsilon^{-3}\right)$次计算。最后，我们展示了两个全空间和两个Krylov子空间变体的初步数值实验结果。
作者：Serge Gratton and Sadok Jerad and Philippe L. Toint
论文ID：2302.10065
分类：Optimization and Control
分类简称：math.OC
提交时间：2023-08-22