低参数大语言模型的联邦学习
摘要：使用大型语言模型（LLM）研究联邦学习（FL）场景下的少样本自然语言理解（NLU）任务。由于有限的标注数据和FL中的通信能力受限，尤其是移动设备，这是一项具有挑战性的任务。最近的研究表明，LLMs可以被提示执行诸如情感分析和算术推理等少样本NLU任务。然而，LLMs的巨大尺寸导致计算和通信成本高昂，使得传统的FL方案不切实际。为了解决这些挑战，我们提出了低参数联邦学习（LP-FL）。LP-FL将LLMs的少样本提示学习与高效通信和联合技术相结合。我们的方法使联邦客户端能够使用从全局模型逐渐学习的知识对无标签数据进行软标签分配。通过迭代式的软标签分配，在FL过程中不断扩展标记集。此外，为了降低计算和通信成本，LP-FL利用低秩调整（LoRA）技术进行紧凑的可学习参数构造、高效的本地模型微调和可支付的全局模型联邦。在各种FL设置下，LP-FL在情感分析任务中始终优于全参数联邦学习（FP-FL）。LP-FL对过拟合的抵抗能力使其在少样本场景中能够与或超过集中式训练。
作者：Jingang Jiang, Xiangyang Liu, Chenyou Fan
论文ID：2307.13896
分类：Distributed, Parallel, and Cluster Computing
分类简称：cs.DC
提交时间：2023-07-27