一个具有任务特定预训练的多任务语义分解框架，用于小样本命名实体识别
摘要：少样本命名实体识别的目标是通过有限的标记实例来识别命名实体。以往的研究主要集中在优化传统的基于标记的分类框架上，而忽视了基于NER数据特性的信息的探索。为了解决这个问题，我们提出了一种通过联合任务特定预训练的多任务语义分解框架（MSDP）来进行少样本NER。受到演示式和对比学习的启发，我们引入了两个新的预训练任务：基于演示的掩码语言建模（MLM）和类别对比判别。这些任务有效地融入了实体边界信息，并增强了预训练语言模型（PLMs）中的实体表示。在下游主任务中，我们引入了一种多任务联合优化框架，通过语义分解方法促使模型整合两种不同的语义信息进行实体分类。两个少样本NER基准测试的实验结果显示，MSDP始终以较大的优势击败了强基线系统。广泛的分析验证了MSDP的有效性和泛化性。
作者：Guanting Dong, Zechen Wang, Jinxu Zhao, Gang Zhao, Daichi Guo, Dayuan Fu, Tingfeng Hui, Chen Zeng, Keqing He, Xuefeng Li, Liwen Wang, Xinyue Cui, Weiran Xu
论文ID：2308.14533
分类：Computation and Language
分类简称：cs.CL
提交时间：2023-08-29