推荐系统离线评估中的普遍缺陷
摘要：离线评估在推荐系统中仍然是在线性能的一个不完美的替代品，这是由于推荐系统的互动性质所导致的。由于生产推荐系统的专有性质，无法对A/B测试设置进行独立验证和验证在线结果，因此离线评估很可能在可预见的未来仍将是推荐系统研究中的主要评估方式。因此，离线评估设置的真实性和完善性非常重要。不幸的是，由于后来的研究将前人的错误评估设置复制过来，并没有质疑其有效性，所以评估缺陷在现在的推荐系统研究中相当普遍。为了提高推荐系统离线评估的质量，我们讨论了四个这些普遍缺陷，并解释了为什么研究人员应该避免这些缺陷。
作者：Bal''azs Hidasi, ''Ad''am Tibor Czapp
论文ID：2307.14951
分类：Information Retrieval
分类简称：cs.IR
提交时间：2023-07-28