零阶优化与弱维度依赖
摘要：零阶优化在各种学习任务中都是一个基本的研究课题，比如黑盒对抗攻击、赌博机问题和强化学习。然而，在理论上，大多数复杂度结果都断言优化变量的维度呈线性依赖关系，这意味着零阶算法在高维问题中可能存在并行化问题，并且无法解释它们在实践中的有效性。在本文中，我们提出了一种新的零阶优化理论，其复杂度对维度的依赖性较弱。主要贡献在于引入一个新因子，称为$mathrm{ED}\_{alpha}=sup\_{xin mathbb{R}^d}sum\_{i=1}^dsigma\_i^alpha( abla^2 f(x))$ ($alpha>0$, $sigma\_i(cdot)$是按非递增顺序排列的第$i$个奇异值)，它有效地用作维度的度量。我们提出的算法在以因子$mathrm{ED}\_{alpha}$为度量时，证明了显著降低的复杂度。具体来说，我们首先研究了Nesterov和Spokoiny (2017) 提出的一个众所周知的二阶算法在二次目标函数上的复杂度，对于强凸设置，复杂度为 $mathcal{O}left(frac{mathrm{ED}\_1}{sigma\_d}log(1/epsilon) ight)$。此外，我们介绍了一种利用Heavy-ball机制的新算法。我们提出的算法的复杂度为 $mathcal{O}left(frac{mathrm{ED}\_{1/2}}{sqrt{sigma\_d}}cdotlog{frac{L}{mu}}cdotlog(1/epsilon) ight)$。我们进一步扩展了该方法的范围，包括在附加Hessian-smooth条件下的通用平滑优化问题。由此产生的算法在适当条件下在$d$方面的复杂度有所改进。我们的分析为高维情况下平滑函数的零阶优化方法奠定了基础。
作者：Pengyun Yue, Long Yang, Cong Fang, Zhouchen Lin
论文ID：2307.05753
分类：Optimization and Control
分类简称：math.OC
提交时间：2023-08-03