使用对比知识蒸馏进行集成建模的序列推荐
摘要：串行推荐旨在捕捉用户的动态兴趣并预测用户偏好的下一个项目。大多数串行推荐方法使用深度神经网络作为序列编码器来生成用户和项目的表示。现有的工作主要集中在设计更强大的序列编码器上。然而，很少有人尝试使用训练一组网络作为序列编码器，这比单个网络更强大，因为一组并行网络可以产生多样的预测结果，从而提高准确性。在本文中，我们提出了一种用于串行推荐的对比知识蒸馏集成建模（EMKD）。我们的框架采用多个并行网络作为序列编码器的集合，并基于所有这些网络的输出分布推荐项目。为了促进并行网络之间的知识传递，我们提出了一种新颖的对比知识蒸馏方法，该方法通过网络内对比学习（ICL）和网络间对比学习（CCL）在表示层面进行知识传递，并通过最小化教师网络和学生网络之间的输出分布的Kullback-Leibler散度来进行逻辑层面的知识蒸馏。为了利用上下文信息，我们将主要掩码项预测任务与辅助属性预测任务一起进行多任务学习。对公共基准数据集进行的大量实验证明，与最先进的方法相比，EMKD取得了显着的改进。此外，我们还证明我们的集成方法是一种广义方法，也可以提高其他串行推荐系统的性能。我们的代码可在此链接找到：https://github.com/hw-du/EMKD。
作者：Hanwen Du and Huanhuan Yuan and Pengpeng Zhao and Fuzhen Zhuang and Guanfeng Liu and Lei Zhao and Victor S. Sheng
论文ID：2304.14668
分类：Information Retrieval
分类简称：cs.IR
提交时间：2023-05-17