通过资源感知的客户端部署实现联邦学习的高吞吐量仿真
摘要：流联合学习（FL）是一种保护隐私的机器学习范式，能够在数百万个设备之间进行协作模型训练。模拟环境对于大规模FL研究至关重要，它可以让研究人员快速测试解决系统和统计异质性问题的新想法。本文提出了一种名为Pollen的新型资源感知系统，能够通过有效地将客户端分布在分布式和异构硬件中来加速FL仿真。我们提出了减少服务器-GPU通信并基于FL客户端在异构GPU上固有的权衡来使用高效的客户端布置策略。这些权衡是通过实验进行的。通过在三个流行的FL任务（图像分类、语音识别和文本生成）上进行相关基线比较，我们将Pollen与现有的临时FL框架（如Flower、Flute和FedScale）进行比较，并展示了50%至400%的性能提升。
作者：Lorenzo Sani, Pedro Porto Buarque de Gusm~ao, Alex Iacob, Wanru Zhao, Xinchi Qiu, Yan Gao, Javier Fernandez-Marques and Nicholas Donald Lane
论文ID：2306.17453
分类：Distributed, Parallel, and Cluster Computing
分类简称：cs.DC
提交时间：2023-07-03