顺序随机黑盒优化与零阶梯度估计器
摘要：基于顺序随机优化（SSO）的零一阶符号随机梯度下降法（ZO-Signum）被提出用于解决目标函数值仅能通过一个受到未知分布的随机噪声影响的黑盒计算的随机优化问题。将原始问题分解为一系列子问题，并使用逐渐细化的精度解决每个子问题。这种分解在保持算法在接近解时的效率的同时，也能对空间进行良好的探索。在对黑盒的Lipschitz连续性假设下，得到了ZO-signum算法的期望收敛速率。此外，如果黑盒在其最小值附近是光滑且凸或局部凸的，那么SSO算法可以收敛到问题的ε-最优解。通过实验比较SSO算法与其他现有算法，证明了其竞争力。
作者：Charles Audet, Jean Bigeon, Romain Couderc, Michael Kokkolaras
论文ID：2305.19450
分类：Optimization and Control
分类简称：math.OC
提交时间：2023-08-15