更多并非更好:何时推荐系统在数据丰富的用户中表现不佳?
摘要:推荐系统用户在与算法的互动水平上存在差异,这可能影响他们收到的推荐质量,并导致不可取的性能差异。本文研究了在应用于十个基准数据集的一组流行评估指标时,数据丰富用户和数据贫乏用户的性能在什么条件下出现差异。我们发现,对于所有数据集,数据丰富用户的准确率始终较高;平均准确率在用户组之间基本相似,但其方差较大;召回率产生了令人意外的结果,算法对于数据贫乏用户的表现优于数据丰富用户,当在评估过程中采用负样本抽样时,这种偏差进一步加剧。最后的观察表明,随着用户与推荐系统的互动增加,他们收到的推荐质量(以召回率衡量)下降。我们的观点清楚地显示了评估协议及其对研究推荐系统时报告结果的影响的重要性。
作者:Yueqing Xuan, Kacper Sokol, Jeffrey Chan, Mark Sanderson
论文ID:2304.07487
分类:Information Retrieval
分类简称:cs.IR
提交时间:2023-04-18