EcoFed：基于DNN划分的联邦学习中的高效通信
摘要：在资源受限设备上高效运行联邦学习（FL）是具有挑战性的，因为它们需要独立地训练计算密集型的深度神经网络（DNN）。基于DNN分区的FL（DPFL）被提出作为一种加快训练的机制，其中将DNN的层（或计算）从设备卸载到服务器。然而，这会产生显著的通信开销，因为在训练过程中需要在设备和服务器之间传输激活和梯度。虽然当前的研究通过使用基于局部损失的方法来减少DNN分区引入的通信开销，但我们证明这些方法在提高DPFL系统的整体效率（通信开销和训练速度）方面是无效的。这是因为它们会导致准确性下降，并忽略了将激活从设备传输到服务器时产生的通信成本。本文提出了EcoFed - 一种用于DPFL系统的通信高效框架。EcoFed通过在设备上首次开发DNN模型的预训练初始化来消除梯度传输。这减少了局部损失方法中观察到的准确性下降。此外，EcoFed提出了一种新颖的回放缓冲机制，并实现了一种基于量化的压缩技术来减少激活的传输。实验证明，与经典的FL相比，EcoFed可以显著减少通信成本高达114倍，并加速训练高达25.66倍。与普通的DPFL相比，EcoFed实现了13.78倍的通信减少和2.83倍的训练加速。
作者：Di Wu, Rehmat Ullah, Philip Rodgers, Peter Kilpatrick, Ivor Spence, and Blesson Varghese
论文ID：2304.05495
分类：Distributed, Parallel, and Cluster Computing
分类简称：cs.DC
提交时间：2023-06-14