DeepTagger:基于网络广告查询的知识增强命名实体识别

摘要:网络广告中的命名实体识别(NER)是一项关键任务。目前的最先进解决方案利用预训练的语言模型来完成此任务。然而,在此任务中还存在三个主要挑战尚未解决:网络查询与预训练模型训练的自然语言不同;网络查询较短且缺乏上下文信息;NER的标注数据稀缺。我们提出了一种基于知识增强的面向网络广告查询的NER模型DeepTagger。所提出的知识增强框架同时利用模型无关和模型有关方法。对于模型无关增强,我们收集未标记的网络查询以增加领域知识;收集网络搜索结果以丰富广告查询的信息。我们进一步利用有效的提示方法,使用ChatGPT等大型语言模型自动生成标签。此外,我们采用基于对抗性数据增强的模型有关知识增强方法。我们采用三阶段训练框架来训练DeepTagger模型。各种NER任务的实证结果证明了所提框架的有效性。

作者:Simiao Zuo, Pengfei Tang, Xinyu Hu, Qiang Lou, Jian Jiao, Denis Charles

论文ID:2306.17413

分类:Information Retrieval

分类简称:cs.IR

提交时间:2023-07-03

PDF 下载: 英文版 中文版pdf翻译中