次梯度方法中最后迭代的精确收敛速度
摘要：子梯度方法应用于最小化具有有界子梯度的非光滑凸函数时，我们研究最后迭代的收敛性。我们首先引入了一种证明技术，它推广了子梯度方法的标准分析。它基于跟踪当前迭代和每次迭代的不同参考点之间的距离。使用这种技术，我们得到了使用恒定步长或恒定步长的投影子梯度方法的目标准确性的精确最差情况收敛速度。通过最差情况实例证明了该收敛速度的紧密性。 我们还推导出了在执行N次迭代时的最优恒定步长的值，其中我们发现最后迭代的准确性小于B R sqrt(1+log(N)/4)/sqrt(N+1) frac(B R log N)/sqrt(N+1)，其中B是子梯度范数的上界，R是初始迭代和最小化器之间的距离的上界。 最后，我们引入了一种新的最优子梯度方法，在给定的N次迭代后实现了最佳的最后迭代准确性。其收敛速度B R/sqrt(N+1)恰好与任何黑盒方法在考虑的问题类上的性能的下界完全匹配。我们还展示了没有一个通用的步长序列能够同时在每次迭代中实现这个最优速度，这意味着步长序列在N上的依赖是不可避免的。
作者：Moslem Zamani and Franc{c}ois Glineur
论文ID：2307.11134
分类：Optimization and Control
分类简称：math.OC
提交时间：2023-07-24