信息检索实验平台
摘要：在信息检索实验平台(TIREx)中，我们将ir_datasets、ir_measures和PyTerrier与TIRA集成，以促进更标准化、可重复、可扩展甚至是盲目的检索实验。当一个检索方法实现了PyTerrier的接口，并且实验的输入和输出与ir_datasets和ir_measures兼容时，可以达到标准化。然而，这并不是可重复性和可扩展性的必要条件，因为TIRA可以在本地或远程以云原生的执行环境运行任何docker化的软件。版本控制和缓存保证了高效的(重新)执行。当实验在不受实验者控制的远程服务器或云上运行时，TIRA可以实现盲目评估。此时，测试数据和基准事实将对公众隐藏，检索软件必须在防止数据泄漏的沙盒中进行处理。 我们目前在一个包含15个语料库(19亿个文档)的TIREx实例上托管着32个共享检索任务。使用50种标准检索方法的Docker镜像，我们在一个中型集群上(1620个CPU核心和24个GPU)上在不到一周的时间内自动评估了所有任务上的所有方法(50 * 32 = 1600次运行)。这个TIREx实例对于提交是开放的，并将与IR文献收录和开源发布集成。
作者：Maik Fr"obe and Jan Heinrich Reimer and Sean MacAvaney and Niklas Deckers and Simon Reich and Janek Bevendorff and Benno Stein and Matthias Hagen and Martin Potthast
论文ID：2305.18932
分类：Information Retrieval
分类简称：cs.IR
提交时间：2023-05-31