异构问题回答的基准：CompMix
摘要：混合信息源是事实为中心的问答系统中为了提高答案覆盖和置信度而共同考虑多个异质信息源（如知识库、文本集合和来自网络的表格）的重要因素。然而，现有的问答系统基准大多只考虑了单一知识源，这限制了这些基准评估能力，无法公平评估可以利用多个信息仓库的问答系统。为了弥补这一差距，我们发布了CompMix，这是一个众包问答系统基准，自然地要求整合多个输入源。CompMix共有9410个问题，并包含了一些复杂的目的，如连接和时间条件。在CompMix上对一系列问答系统的评估凸显了进一步研究如何利用异构信息源的需求。
作者：Philipp Christmann, Rishiraj Saha Roy, Gerhard Weikum
论文ID：2306.12235
分类：Information Retrieval
分类简称：cs.IR
提交时间：2023-08-22