FedCache：一种基于知识缓存驱动的个性化边缘智能联邦学习架构
摘要：边缘智能（EI）允许人工智能（AI）应用在边缘上运行，实时进行数据分析和决策制定，靠近数据源。为了保护数据隐私并在EI中统一终端设备中的数据隔离，提出了联邦学习（FL），用于在不损害数据隐私的情况下，设备之间共同训练共享的AI模型。然而，现有的FL方法无法保证在异构客户端上的模型泛化和适应性。最近，个性化联邦学习（PFL）在EI中引起了日益关注，因为它在设备上具有本地特定训练要求和全局泛化优化目标之间实现了有效的平衡，以实现满意的性能。然而，大多数现有的PFL方法都基于基于参数交互的架构（PIA），如FedAvg，这会导致由于设备和边缘服务器之间的大规模参数传输而产生无法承受的通信负担。相反，基于对数交互的架构（LIA）允许使用对数传输更新模型参数，并相对于PIA具有通信轻量级和异构设备模型允许的优势。然而，先前的LIA方法要么依赖于不现实的公共数据集来实现满意的性能，要么通过增加通信开销来传输与对数之外的其他信息。为了解决这一困境，我们提出了一种名为FedCache的知识缓存驱动的PFL架构，在服务器上保留一个知识缓存，用于从具有类似哈希值的样本中获取与每个设备上给定的样本的个性化知识。在训练阶段，采用集成蒸馏方法对设备上的模型进行构造性优化，并从服务器端的知识缓存传输个性化知识。
作者：Zhiyuan Wu, Sheng Sun, Yuwei Wang, Min Liu, Ke Xu, Wen Wang, Xuefeng Jiang, Bo Gao, Jinda Lu
论文ID：2308.07816
分类：Distributed, Parallel, and Cluster Computing
分类简称：cs.DC
提交时间：2023-09-01