无梯度方法下的非光滑凸随机优化：在凸紧致集上应用重尾噪声
摘要：用于优化通过黑箱仅可访问的随机非光滑函数的两种易于实施的无梯度/零阶方法。这些方法建立在重尾分布情况下的高效一阶方法之上，即梯度噪声具有无穷方差但对于某个 $kappa in(0,1]$ 而言有有界 $(1+kappa)$-th 矩。第一种算法基于具有一类对重尾噪声具有鲁棒性的均匀凸镜像映射的随机镜像下降。第二种算法基于随机镜像下降和梯度剪裁技术。此外，对于满足 $r$-增长条件的目标函数，基于这些方法和重新开始技术提出了更快的算法。
作者：Nikita Kornilov, Alexander Gasnikov, Pavel Dvurechensky, Darina Dvinskikh
论文ID：2304.02442
分类：Optimization and Control
分类简称：math.OC
提交时间：2023-08-25