噪声分布式梯度下降的二阶特性
摘要：固定步长噪声分布式梯度下降算法在解决目标是平滑但可能非凸函数的优化问题中进行了研究。在每一步中，将随机扰动引入到梯度下降方向中以有效地避开鞍点。在某些正则性条件下，并且使用适当的步长，证明每个代理都收敛到局部最小值的邻域，邻域的大小取决于步长和置信参数。通过数值示例说明了随机扰动在少于无扰动情况下逃离鞍点的迭代次数方面的有效性。
作者：Lei Qin, Michael Cantoni, and Ye Pu
论文ID：2303.17165
分类：Optimization and Control
分类简称：math.OC
提交时间：2023-07-21