探索基于适配器的迁移学习在推荐系统中的应用：经验研究与实践洞见
摘要：适配器：一种参数可调节的神经网络模块，已经成为一种参数高效的迁移学习技术，用于调整预训练模型以适应下游任务，特别是自然语言处理（NLP）和计算机视觉（CV）领域。同时，直接从原始项目形式特征（例如，NLP的文本和CV的图像）学习推荐模型可以实现有效和可转换的推荐系统（称为TransRec）。基于此，一个自然的问题出现了：适配器学习技术能否实现参数高效的TransRec，并具有良好的性能？ 为了实现这一目标，我们进行了经验研究，以解决几个关键子问题。首先，我们问适配器的TransRec是否与基于标准全参数微调的TransRec相媲美？对于不同项目形式（例如文本RS和视觉RS）的推荐，它是否适用？如果是的话，我们将在项目推荐设置中对这些已被证明在NLP和CV任务中有效的适配器进行基准测试。第三，我们仔细研究了几个关键因素，以插入这些适配器的位置和方式对于适配器的TransRec产生的影响。最后，我们观察了通过扩大源训练数据或缩小目标训练数据来缩小适配器的TransRec的效果。我们的论文为统一且可转换的推荐提供了关键见解和实践指导 - 这是一个较少研究的推荐场景。我们承诺将发布所有代码和数据集供未来研究使用。
作者：Junchen Fu, Fajie Yuan, Yu Song, Zheng Yuan, Mingyue Cheng, Shenghui Cheng, Jiaqi Zhang, Jie Wang, Yunzhu Pan
论文ID：2305.15036
分类：Information Retrieval
分类简称：cs.IR
提交时间：2023-05-25