通信高效的适应系统异构性的分布式优化
摘要：基于图的代理合作最小化局部目标和正则化项的设置。本文提出了一种原始对偶方法，考虑了现实多代理系统的三个独特属性，即：(i)昂贵的通信，(ii)缺乏同步，和(iii)系统异质性。具体而言，我们提出了一种分布式异步算法，其通信成本最小化，在该算法中，用户在各自的子问题上承担不同数量的本地工作。我们在机器学习环境中在理论和实验上进行了说明，其中代理人持有私有数据并使用随机牛顿法作为本地求解器。在利普希茨连续梯度和强凸性的标准假设下，我们的分析建立了期望中的线性收敛，并描述了速率与本地迭代次数的依赖关系。我们进一步提出了一种简单的方法，用于本地调整代理人的超参数，以适应异质性并加快整体收敛速度。最后，我们在基准机器学习数据集上验证了我们提出的方法，以展示在计算、通信和运行时间节省以及对异质性的适应性方面的优点。
作者：Ziyi Yu and Nikolaos M. Freris
论文ID：2308.05395
分类：Optimization and Control
分类简称：math.OC
提交时间：2023-08-11