TALLRec:一种用于将大型语言模型与推荐对齐的有效和高效调整框架
摘要:大型语言模型(LLM)在不同领域展示了出色的性能,因此研究人员开始探索它们在推荐系统中的潜力。最初的尝试利用了LLM的优秀能力,例如通过上下文学习获得丰富的知识和强大的泛化能力,这涉及将推荐任务作为提示来构建。然而,由于LLM的训练任务与推荐任务存在显著差异,并且在预训练期间缺乏足够的推荐数据,因此LLM在推荐任务中的性能仍然不够优化。为了弥合这一差距,我们考虑通过使用推荐数据来调优LLM,构建一种大型推荐语言模型。为此,我们提出了一种高效且有效的调优框架,名为TALLRec,用于将LLM与推荐任务对齐。我们已经证明了所提出的TALLRec框架可以显著提升LLM在电影和图书领域的推荐能力,即使只有少于100个样本的有限数据集。此外,所提出的框架非常高效,可以在单个RTX 3090上执行,并且经过精调的LLM表现出强大的跨领域泛化能力。我们的代码和数据可在https://github.com/SAI990323/TALLRec提供。
作者:Keqin Bao, Jizhi Zhang, Yang Zhang, Wenjie Wang, Fuli Feng, and Xiangnan He
论文ID:2305.00447
分类:Information Retrieval
分类简称:cs.IR
提交时间:2023-07-04