关于最小化Polyak-Lojasiewicz函数下界的研究
摘要：一般情况下，通过使用梯度下降算法，Polyak-Lojasiewicz（PL）条件可以确保全局收敛。本文研究使用一阶序列算法寻找近似最优解的算法的下界。我们证明，对于具有mu-PL常数的一般L-光滑函数，任何一阶算法都需要至少 ${\Omega} \left( \frac{L}{\mu} \log \frac{1}{\varepsilon} \right)$梯度计算才能找到一个$\varepsilon$-近似的最优解。这一结果表明了梯度下降算法在最小化光滑PL函数方面的最优性，即存在一个“困难”的PL函数，当忽略一个数值常数时，没有一阶算法可以比梯度下降更快。相比之下，众所周知的动量方法，比如[Nesterov，2003，第2章]，可以证明加速梯度下降到 ${O} \left( \sqrt{\frac{L}{\hat{\mu}}} \log \frac{1}{\varepsilon} \right)$梯度计算，适用于满足L-光滑和$\hat{\mu}$-强凸性条件的函数。因此，我们的结果区分了最小化光滑PL函数和光滑强凸函数的困难程度，前者的复杂性通常无法通过任何多项式次数改进。
作者：Pengyun Yue, Cong Fang, Zhouchen Lin
论文ID：2212.13551
分类：Optimization and Control
分类简称：math.OC
提交时间：2023-08-03