填补会话搜索中的空白：从段落检索到对话响应生成
摘要：对话式搜索研究目前主要集中在查询重写和多阶段段落检索上。然而，将检索到的段落综合成完整、相关和简洁的回答仍然是一个开放性挑战。具有段落级别的相关答案注释可以实现以下两个目标：（1）训练可以将答案与实际陈述相联系的响应生成模型，（2）以完整性为指标自动评估生成的回答。本文针对TREC Conversational Assistance数据集中的两个数据集，解决了收集高质量段落级答案注释的问题。为了保证质量，我们首先进行了初步的注释研究，采用不同的任务设计、众包平台和具有不同资质的工作者。根据这项研究的结果，我们在进行全面数据收集之前改进了注释协议。总体而言，我们收集了1.8k个问题-段落对的注释，每个问题被三名独立的众包工作者注释。这种规模的数据收集过程还带来了对该问题的多个见解，可以为未来的响应生成方法的设计提供参考。本文是CIKM'23会议论文《与同一标题的文章扩展版》。
作者：Weronika {L}ajewska and Krisztian Balog
论文ID：2308.08911
分类：Information Retrieval
分类简称：cs.IR
提交时间：2023-08-21