自适应有界陈旧度策略：收敛更快且通信更少
摘要：异步方法快速收敛但容易受到块串的干扰；同步方法虽然可以减少每轮的墙钟时间，但由于梯度的陈旧导致收敛速度下降。因此，将两种方法结合起来以实现平衡是很自然的。本文提出了一种新的异步策略，名为自适应有界陈旧(ABS)，利用了同步方法和异步方法的优点。ABS的两个关键特点：首先，每轮PS等待的工作节点数量会根据块串程度自适应选择，达到块串平衡；其次，陈旧程度较高的工作节点需要启动新的计算轮以减轻陈旧的负面影响。通过模拟实验结果，证明了ABS相对于现有方案在墙钟时间和通信轮数方面的优越性。
作者：Qiao Tan, Feng Zhu and Jingjing Zhang
论文ID：2301.08895
分类：Distributed, Parallel, and Cluster Computing
分类简称：cs.DC
提交时间：2023-07-18