一种用于分布式优化的随机梯度追踪算法及其不精确通信
摘要：去噪的分布式优化算法在研究中通常假设传输是无噪声的。然而，现实世界中的情况往往涉及到噪声存在，这些噪声来源于白高斯噪声通道的加性或传输数据的概率量化等因素。如果不有效地解决这些噪声源，这些噪声可能会降低分布式优化算法的性能。在本文中，我们关注于嘈杂的通信环境，并提出了一种算法，用来弥补通信噪声引起的性能差距，同时减轻数据异构等其他挑战。我们建立了理论结果，量化了通信噪声和梯度噪声对算法性能的影响。值得注意的是，我们的算法在不精确通信和随机梯度的背景下，实现了最优的收敛速度，用于最小化强凸、光滑函数。最后，我们使用MNIST和CIFAR-10数据集，在机器学习问题上展示了我们提出的算法与现有的最新算法相比的出色性能。
作者：Suhail M. Shah, Raghu Bollapragada
论文ID：2307.14942
分类：Optimization and Control
分类简称：math.OC
提交时间：2023-07-28