评估时间持续性：利用可重复性度量
摘要：信息检索(IR)实验中，评估环境(EE)是不断变化的。文档会添加、删除或更新，用户的信息需求和搜索行为也在不断演变。同时，IR系统被期望保持一致的质量。LongEval实验室致力于研究IR系统的纵向持久性，并在本研究中描述了我们的参与。我们提交了五个先进的检索系统的运行结果，包括逆向排序融合(RRF)方法、ColBERT、monoT5、Doc2Query和E5，并应用于两个子任务。此外，我们将纵向评估视为可复现性研究，以更好地理解观察到的时间变化。结果表明，我们量化了提交运行的持久性，并看到了这种评估方法的巨大潜力。
作者：J"uri Keller, Timo Breuer, Philipp Schaer
论文ID：2308.10549
分类：Information Retrieval
分类简称：cs.IR
提交时间：2023-08-22