贝叶斯低秩适应大型语言模型
摘要：参数高效微调（PEFT）已经成为一种用于成本效益高的大语言模型（LLM）微调的新范式，低秩适应（LoRA）是一种广泛采用的选择。然而，当在小数据集上进行微调时，微调的LLM通常会变得过于自信。贝叶斯方法具有估计不确定性的固有能力，因此成为缓解过度自信和增强校准性的强大工具。在这项工作中，我们引入了Laplace-LoRA，这是一种简单但有效的贝叶斯方法，它将Laplace近似应用于LoRA参数，并显著提升了微调LLM的校准性。
作者：Adam X. Yang, Maxime Robeyns, Xi Wang, Laurence Aitchison
论文ID：2308.13111
分类：Machine Learning
分类简称：cs.LG
提交时间：2023-08-29