两个MS MARCO的故事--以及它们之间不公平的比较
摘要：MS MARCO-Passage数据集一直是IR社区主要的大规模开放数据集，多年来促进了新颖神经检索模型的发展。然而，事实证明，文献中使用了两种不同的MS MARCO语料库，一种是官方的，另一种是利用Tevatron代码库引入标题的语料库。然而，添加标题实际上泄露了相关信息，同时也违反了MS MARCO-Passage数据集的原始指导方针。在这项工作中，我们调查了这两个语料库之间的差异，并通过实验证明对于评估新方法来说这些差异具有显著影响。换句话说，我们表明，如果一篇论文没有正确报告使用的版本，那么要重现其结果基本上是不可能的。此外，鉴于目前评审的现状，监控最新成果至关重要，拥有两个不同版本的语料库是一个大问题。因此，本文旨在报告这个问题的重要性，以使研究人员能够意识到这个问题并适当地报告他们的结果。
作者：Carlos Lassance, St''ephane Clinchant
论文ID：2304.12904
分类：Information Retrieval
分类简称：cs.IR
提交时间：2023-04-26