使用RPRS进行超长查询和文档的检索:一种高效且有效的基于Transformer的重新排序器

摘要:基于新颖的比例相关性分数(RPRS)的重新排名器在查询与前k个候选文档之间计算相关性分数。我们广泛的评估结果显示,RPRS在五个不同的数据集上的性能明显优于现有模型。此外,RPRS非常高效,因为所有文档都可以在查询之前进行预处理、嵌入和索引,这使得我们的重新排名器具有O(N)的复杂度,其中N是查询和候选文档中的句子总数。此外,我们的方法解决了QBD检索任务中的低资源训练问题,因为它不需要大量的训练数据,只有三个参数的范围有限,即使只有少量的标记数据可用,也可以通过网格搜索进行优化。我们的详细分析表明,RPRS受益于覆盖候选文档和查询的完整长度。

作者:Arian Askari, Suzan Verberne, Amin Abolghasemi, Wessel Kraaij, Gabriella Pasi

论文ID:2303.01200

分类:Information Retrieval

分类简称:cs.IR

提交时间:2023-03-03

PDF 下载: 英文版 中文版pdf翻译中