两阶段编码分布式边缘学习：动态部分梯度编码视角
摘要：分布式学习中存在的滞后者问题一直阻碍着全球模型根据本地数据进行训练的广泛采用。最近通过梯度编码来缓解这个问题的尝试由于数据冗余、计算和通信开销的增加而变得困难。此外，编码和解码的复杂度随着本地工作者的数量线性增加。在本文中，我们提出了一种轻量级的计算阶段编码方法和一个公平的传输协议，以缓解滞后者问题。为了计算阶段，我们提出了一个两阶段的动态编码方案，其中第一阶段由一部分工作者计算部分梯度，其余部分则根据第一阶段的完成状态来决定。为了确保公平通信，我们设计了一个扰动的Lyapunov函数，用于平衡接纳数据公平性和最大化吞吐量。广泛的实验结果表明了我们提出的解决方案在分布式学习系统中的准确性和资源利用方面的优越性，即使在实际网络条件和基准数据下也是如此。
作者：Tingting Yang, Xinghan Wang, Jiahong Ning, Yang Yang
论文ID：2205.07939
分类：Networking and Internet Architecture
分类简称：cs.NI
提交时间：2023-07-26