LongEval-Retrieval：连续网络搜索评估的法英动态测试集合
摘要：LongEval-Retrieval: 一个长期检索评估的Web文档检索基准，旨在研究信息检索系统的时间持久性，将用作CLEF 2023的“模型性能长期评估”赛道（LongEval）中的测试集。该基准模拟了一个不断发展的信息系统环境，如Web搜索引擎所在的环境，其中文档集合、查询分布和相关性都在不断变化，同时遵循Cranfield离线评估范式。为了做到这一点，我们引入了动态测试集合的概念，每个子集合代表信息系统在给定时间步骤中的状态。在LongEval-Retrieval中，每个子集合包含一组查询、文档和基于点击模型构建的模糊相关性评估。数据来自Qwant，这是一个注重法国市场的隐私保护Web搜索引擎。LongEval-Retrieval还提供了一个“镜像”集合：它最初以法语构建，以便受益于Qwant的大部分流量，然后再被翻译成英语。本文介绍了LongEval-Retrieval的创建过程，并提供了基准运行和分析。
作者：Petra Galuv{s}v{c}''akov''a Romain Deveaud, Gabriela Gonzalez-Saez, Philippe Mulhem, Lorraine Goeuriot, Florina Piroi, Martin Popel
论文ID：2303.03229
分类：Information Retrieval
分类简称：cs.IR
提交时间：2023-04-28