顺序推荐系统中的自适应多模态融合
摘要：多模态信息能够更全面地展示物品的特征，在顺序推荐中，将多模态特征融合到物品表示中的最佳阶段（早期或晚期）仍存在争议。我们提出了一种基于图的方法（称为MMSR），以自适应的顺序融合多模态特征，使每种模态可以优先考虑其固有的顺序性或与其他模态的相互作用。MMSR将每个用户的历史记录表示为一个图，其中用户历史序列中每个物品的模态特征由交叉链接的节点表示。同质节点之间的边表示内模态的顺序关系，异质节点之间的边表示模态间的相互依赖关系。在图传播过程中，MMSR引入了双重注意力，区分同质和异质邻居。为了自适应地分配具有不同融合顺序的节点，MMSR允许每个节点的表示通过更新门进行异步更新。在模态之间展现较强顺序关系的场景中，更新门优先更新同质节点。相反，在模态之间的相互依赖关系更加明显时，更新门优先更新异质节点。因此，MMSR建立了一个从早期到晚期模态融合的融合顺序。在六个数据集上进行的实验证明，MMSR始终优于最先进的模型，而我们的图传播方法也超过了其他图神经网络。此外，MMSR自然地处理缺失的模态。
作者：Hengchang Hu, Wei Guo, Yong Liu, Min-Yen Kan
论文ID：2308.15980
分类：Information Retrieval
分类简称：cs.IR
提交时间：2023-08-31