学生信息检索评估中的评分者一致性对结果的影响
摘要：对三种不同的检索支持服务进行了信息检索评估。这三种服务都旨在弥补在以元数据驱动的数字图书馆中出现的典型问题，这些问题无法通过简单的tf-idf基于检索加以处理。这些服务包括：(1)基于共词分析的查询扩展机制，以及通过(2)布拉德福德化和(3)作者中心性对结果进行重新排序。这些服务通过73位信息科学学生进行关联性评估来进行评估。由于这些学生既不是信息专业人员也不是领域专家，所以需要考虑评审者之间的一致性问题。研究得出了两个重要的结论：(1)评审者之间的一致性水平主要为合理至中等；(2)在删除了一致性较差的评估数据后，评估结果显示三种检索服务返回的结果集是不相交但仍然相关的。
作者：Philipp Schaer, Philipp Mayr, Peter Mutschke
论文ID：1010.1824
分类：Information Retrieval
分类简称：cs.IR
提交时间：2010-10-12