FANS:用于物品列表延续的快速非自回归序列生成

摘要:非自回归序列生成模型FANS的提出与快速和高质量的项目列表连续性有关。通过非自回归生成机制同时解码下一个K个项目,而不是现有模型中一个接一个地解码,以提高推理效率。通过设计一个两阶段分类器,取代当前基于Transformer的模型中使用的普通分类器,进一步减少解码时间。并采用课程学习策略来优化训练,提高非自回归生成的质量。实验结果表明,与最先进的自回归模型相比,我们的FANS模型在项目列表连续性方面显著提高了推理效率(最高达8.7倍),同时实现了竞争性或更好的生成质量。我们还在工业环境中验证了FANS的效率。我们的源代码和数据可在MindSpore/models和Github上获取。

作者:Qijiong Liu, Jieming Zhu, Jiahao Wu, Tiandeng Wu, Zhenhua Dong, Xiao-Ming Wu

论文ID:2304.00545

分类:Information Retrieval

分类简称:cs.IR

提交时间:2023-04-04

PDF 下载: 英文版 中文版pdf翻译中