基于Transformer的顺序推荐中的注意力校准
摘要：基于Transformer的顺序推荐（SR）在近年来蓬勃发展，其中自注意机制是其关键组成部分。自注意被广泛认为能够通过为这些项学习更大的注意权重，有效地选择一系列互动项中的那些信息丰富且相关的项进行下一个项的预测。然而，在现实中这并不总是正确的。我们对一些代表性的基于Transformer的SR模型进行的实证分析揭示了，往往会给较不相关的项分配较大的注意权重，这可能导致不准确的推荐结果。通过进一步深入分析，我们发现两个因素可能导致注意权重分配不准确：亚优位置编码和噪声输入。因此，在本文中，我们旨在解决现有工作中存在的这一重要而具有挑战性的差距。具体而言，我们提出了一个简单而有效的框架，称为基于Transformer的顺序推荐的注意力校准（AC-TSR）。在AC-TSR中，分别设计了一种新颖的空间校准器和对抗校准器，以直接校准那些错误分配的注意权重。前者旨在明确捕捉项之间的空间关系（即顺序和距离），以更精确地计算注意权重。后者旨在根据每个项对下一个项预测的贡献重新分配注意权重。AC-TSR易于适应，并可以无缝集成到各种现有的基于Transformer的SR模型中。四个基准真实世界数据集上的广泛实验结果显示了我们提出的AC-TSR在推荐性能提升方面的优越性。源代码可在https://github.com/AIM-SE/AC-TSR找到。
作者：Peilin Zhou, Qichen Ye, Yueqi Xie, Jingqi Gao, Shoujin Wang, Jae Boum Kim, Chenyu You and Sunghun Kim
论文ID：2308.09419
分类：Information Retrieval
分类简称：cs.IR
提交时间：2023-08-21