数据集与现实：从信息需求的角度理解模型性能
摘要：深度学习技术为我们带来了许多在一些基准测试上胜过人类的模型。一个有趣的问题是：这些模型能否很好地解决与基准数据集类似的真实世界问题（例如，输入/输出相同）？我们认为，模型的训练是为了回答创建训练数据集时的相同信息需求。尽管一些数据集可能具有高度的结构相似性，例如问答任务的问题-答案对和图像字幕任务的图像-字幕对，但它们可能代表不同的研究任务，旨在回答不同的信息需求。为了支持我们的论点，我们以问答任务和图像字幕任务为两个案例研究，并比较它们的广泛使用的基准数据集。从信息检索的角度来看，我们展示了数据集创建过程中的信息需求差异，以及数据集之间形态-句法属性的差异。这些数据集的差异可以归因于具体研究任务的不同信息需求。我们鼓励所有研究者在利用数据集训练模型之前，考虑研究任务的信息需求角度。同样，在创建数据集时，研究者也可以将信息需求角度作为决定数据集与他们打算解决的研究任务的符合程度的因素纳入考虑。
作者：Mengying Yu, Aixin Sun
论文ID：2212.02726
分类：Information Retrieval
分类简称：cs.IR
提交时间：2023-08-22