通过一比特压缩感知的通信高效分散式联合学习
摘要：分散式联邦学习（DFL）因其在各种应用中的实用性而越来越受欢迎。与集中式版本相比，在DFL中在大量节点之间训练共享模型更具挑战性，因为没有中央服务器来协调训练过程。特别是当分布式节点受限于通信或计算资源时，DFL的训练将变得极其低效和不稳定。在这些挑战的推动下，本文开发了一种基于不精确交替方向方法（iADM）框架的新算法。一方面，我们的目标是训练带有稀疏约束的共享模型。这个约束使我们能够利用一位压缩感知（1BCS），在邻居节点之间传输一位信息。另一方面，邻居节点之间的通信只在某些步骤发生，减少了通信轮次的数量。因此，该算法具有明显的通信效率。此外，由于每个节点仅选择一部分邻居参与训练，该算法对抗拖延者具有鲁棒性。此外，复杂项目仅一次计算连续几步，并使用闭式解析解不精确地解决子问题，从而提高了计算效率。最后，数值实验证明了算法在通信和计算方面的有效性。
作者：Shenglong Zhou, Kaidi Xu, Geoffrey Ye Li
论文ID：2308.16671
分类：Machine Learning
分类简称：cs.LG
提交时间：2023-09-01