加速零阶SGD方法解决“过参数化”条件下的黑盒优化问题
摘要：基于参数过度设定，解决了一个凸随机优化问题，并且在原始梯度计算不可用但可计算目标函数值的情况下提供了一种新颖的无梯度算法。该算法使用$l_2$随机化进行梯度近似，而不是使用有偏加速随机梯度下降算法中的梯度正则器，从而将AC-SA算法的收敛结果推广到梯度正则器返回嘈杂（不精确）目标函数值的情况。我们还进行了详细的分析，以找到能够保证达到期望精度的最大容许对抗性噪声水平。我们使用一个模型示例验证了收敛的理论结果。
作者：Aleksandr Lobanov, Alexander Gasnikov
论文ID：2307.12725
分类：Optimization and Control
分类简称：math.OC
提交时间：2023-07-25