预训练、提示和推荐：在推荐系统中语言建模范式适应的全面调研
摘要：预训练语言模型(PLMs)的应用已在自然语言处理(NLP)领域取得巨大成功，通过在大型语料库上以自监督方式学习通用表示。预训练模型和学习的表示可以有益于一系列后续的NLP任务。这种训练范例最近被应用于推荐领域，并被学术界和工业界认为是一种有前景的方法。本文系统地研究了如何从由不同PLM相关训练范例学习的预训练模型中提取和转移知识，以改善推荐性能，从通用性、稀疏性、效率和效果等多个角度进行分析。具体而言，我们提出了一个正交分类法，将现有基于PLM的推荐系统根据其训练策略和目标进行划分。然后，我们分析和总结了PLM-based训练范例与推荐系统不同输入数据类型之间的关联。最后，我们对这个充满活力的领域中的开放问题和未来研究方向进行了详细阐述。
作者：Peng Liu, Lemei Zhang, Jon Atle Gulla
论文ID：2302.03735
分类：Information Retrieval
分类简称：cs.IR
提交时间：2023-03-17