基于方差减少的聚合梯度跟踪方法在有向网络上进行分布式优化
摘要：在有噪声的信息共享下，本文研究了有向网络上的分布式优化问题。为了解决有向网络上的不完美通信问题，我们开发了一系列抗噪声的Push-Pull/AB方法的变体。这些方法通过在权重矩阵上添加小因子并将全局梯度跟踪替换为累积梯度跟踪，改善了Push-Pull方法对信息共享噪声的鲁棒性。基于这两个技术，我们通过提出一种名为方差约减聚合(VRA)的新的代理间信息聚合机制，提出了Push-Pull方法的新变体。VRA帮助我们消除了目标函数和网络上的一些条件。当目标函数是凸函数，且共享信息的噪声是方差无界时，可以证明所提出的方法几乎必定收敛到最优解。当目标函数是强凸函数且共享信息的噪声是方差有界时，所提出的方法在均方意义上达到收敛速率为$mathcal{O}left(k^{-(1-epsilon)} ight)$，其中$epsilon$可以无限接近于0。对岭回归问题的模拟实验验证了所提出方法的有效性。
作者：Shengchao Zhao, Siyuan Song, Yongchao Liu
论文ID：2307.14776
分类：Optimization and Control
分类简称：math.OC
提交时间：2023-07-28