知识增强的预训练语言模型调查
摘要：预训练语言模型(PLMs)通过自监督学习方法在大型文本语料库上进行训练，在自然语言处理(NLP)的各种任务中取得了有希望的性能。然而，虽然具有巨大参数的PLMs在精调阶段可以有效地拥有从大规模训练文本中学到的丰富知识并在下游任务中受益，但它们仍然存在一些限制，如由于缺乏外部知识而导致的推理能力较差。研究致力于将知识结合到PLMs中以应对这些问题。在本文中，我们提出了知识增强的预训练语言模型(KE-PLMs)的综合回顾，以提供对这一蓬勃发展领域的清晰洞察。我们分别为自然语言理解(NLU)和自然语言生成(NLG)引入适当的分类体系，以突出这两个NLP的主要任务。对于NLU，我们将知识类型分为四类：语言知识、文本知识、知识图谱(KG)和规则知识。NLG的KE-PLMs分为基于知识图谱和基于检索的方法。最后，我们指出了一些有希望的KE-PLMs未来方向。
作者：Linmei Hu, Zeyi Liu, Ziwang Zhao, Lei Hou, Liqiang Nie, and Juanzi Li
论文ID：2211.05994
分类：Computation and Language
分类简称：cs.CL
提交时间：2023-08-31