同阶次均匀下降框架：牛顿型方法的快速替代
摘要：齐次二阶下降框架：一般化齐次模型（GHM）用于非凸和凸优化的基础上，提出了一种齐次二阶下降框架（HSODF）。相对于牛顿步骤，GHM可以通过极值对称特征值过程求解，因此在病态问题中具有优势。此外，GHM扩展了普通齐次模型（OHM），允许在构建聚合矩阵时的适应性。因此，HSODF能够恢复一些众所周知的二阶方法，如信任域方法和梯度正则化方法，同时保持可比较的迭代复杂度边界。我们还研究了HSODF的两个具体实现。一种是自适应HSODM，对于非凸二阶Lipschitz连续目标函数，其有一个无参数的O（epsilon^{-3/2}）全局复杂度界。另一种是拟合HSODM，其被证明具有全局线性收敛率，不需要强凸性。通过一些初步的数值结果，我们证明了我们的方法在病态和高维问题上的效率。
作者：Chang He, Yuntian Jiang, Chuwen Zhang, Dongdong Ge, Bo Jiang, and Yinyu Ye
论文ID：2306.17516
分类：Optimization and Control
分类简称：math.OC
提交时间：2023-07-25