使用预训练语言模型、嵌入蒸馏和上采样策略改进非自回归翻译质量的实证分析
摘要：提高非自回归翻译模型的翻译质量的创新技术：一种基于细调预训练多语言语言模型(PMLM)和CTC损失训练非自回归翻译模型，采用MASK插入方案进行上采样，并提出嵌入蒸馏方法进一步提升性能。在多个数据集上，我们的模型表现优于基线自回归模型，并且在IWSLT'14 DE $leftrightarrow$ EN数据集上取得了令人印象深刻的BLEU分数39.59，创造了新的最优性能，同时模型的速度提升了16.35倍。
作者：Shen-sian Syu, Juncheng Xie, Hung-yi Lee
论文ID：2306.06345
分类：Computation and Language
分类简称：cs.CL
提交时间：2023-09-01