使用BRIO训练范式的抽象文本摘要
摘要：通过合成式摘要模型产生的摘要句子可能连贯且全面，但缺乏控制，并且严重依赖于参考摘要。BRIO训练范式假设一个非确定性分布，以减少模型对参考摘要的依赖，并改善推理时的模型性能。本文提出了一种简单但有效的技术，通过微调预训练语言模型，并使用BRIO范式进行训练，以改进抽象摘要的质量。我们构建了一个用于越南语的文本摘要数据集VieSum。我们在CNNDM和VieSum数据集上对使用BRIO范式训练的抽象摘要模型进行实验。结果表明，这些在基础硬件上训练的模型胜过所有现有的抽象摘要模型，尤其是对于越南语。
作者：Khang Nhut Lam and Thieu Gia Doan and Khang Thua Pham and Jugal Kalita
论文ID：2305.13696
分类：Computation and Language
分类简称：cs.CL
提交时间：2023-09-01