检索支持LLMs生成答案的证据
摘要：使用语言模型(Large Language Models, LLMs)可以在许多自然语言任务，包括开放领域的问题回答上展现接近人类水平的性能。不幸的是，它们也可以令人信服地产生错误答案，需要在接受答案之前验证外部来源的相关性。在本文中，我们报告了一个简单的实验，用于自动验证生成答案与语料库的一致性。在向LLM提出问题并获得生成答案后，我们使用问题+生成答案的组合在语料库中查询。然后，我们向LLM提出问题+生成答案+检索答案的组合，要求它指示生成答案是否可以由检索答案支持。我们的实验基于MS MARCO（V1）测试集的问题和段落，探索了从标准BM25到完整的问答系统（包括基于LLM的阅读器）的三种检索方法。对于大部分问题，我们发现如果提供适当的支持材料，LLM能够验证其生成答案。然而，准确率为70-80％的这种方法并不能完全依赖于检测幻觉。
作者：Siqing Huo, Negar Arabzadeh and Charles L. A. Clarke
论文ID：2306.13781
分类：Information Retrieval
分类简称：cs.IR
提交时间：2023-06-27