重球法的可证明非加速性
摘要：重球方法在光滑强凸问题上证明了无法达到加速的收敛速度。详细来说，我们证明了对于任何条件数和算法参数的选择，要么$HB$在$L$光滑和$\mu$强凸二次函数类中的最坏情况收敛速度不加速（即比$1 - \mathcal{O}(kappa)$慢），要么存在$L$光滑$\mu$强凸函数和初始化使得该方法不收敛。据我们所知，这个结果解答了一个简单但一直存在的问题，该问题涉及最常用和最具有标志性的一阶优化技术。我们的方法建立在寻找$HB$不收敛而是在有限的迭代中循环的函数上。我们分析地描述了所有表现出这种循环行为的$HB$的参数化，并选择了一种特定的循环形状，这种选择受到了系统和构造性方法研究一阶方法循环行为的支持。我们展示了我们结果对于循环扰动的鲁棒性，并将其扩展到满足高阶正则性条件的函数类。
作者：Baptiste Goujaud, Adrien Taylor and Aymeric Dieuleveut
论文ID：2307.11291
分类：Optimization and Control
分类简称：math.OC
提交时间：2023-07-24