比较传统和基于LLM的消费者选择搜索：一项随机实验
摘要：大型语言模型（LLM）的最新发展迅速改变了在线应用的功能。例如，基于LLM的搜索工具提供了自然语言界面，可以容纳复杂查询并提供详细直接的回答。与此同时，由于算法生成的文本可能出现错误或虚构造成的问题，人们对基于LLM的工具提供的信息的准确性产生了担忧。在一系列在线实验中，我们研究了LLM-based搜索如何改变人们的行为与传统搜索相比，并探讨了如何减轻对LLM-based输出过度依赖的问题。我们的实验参与者被要求解决一系列涉及研究和比较不同产品的决策任务，并随机分配到使用LLM-based搜索工具或传统搜索引擎。在我们的第一个实验中，我们发现使用LLM-based工具的参与者能够更快地完成任务，使用更少但更复杂的查询，而使用传统搜索的参与者。此外，这些参与者报告他们对LLM-based搜索工具的体验更为满意。当LLM呈现的信息可靠时，使用该工具的参与者在决策时与使用传统搜索的人具有相当的准确性水平，但我们观察到当LLM出错时存在对不正确信息的过度依赖。我们的第二个实验进一步研究了这个问题，其中随机分配给其中一些用户看到简单的颜色编码的突出显示方案，以提醒他们LLM响应中可能存在不正确或误导性信息。总体而言，我们发现这种基于置信度的突出显示可以大大提高用户发现不正确信息的速度，改善其整体决策的准确性，同时对其他大多数指标没有影响。
作者：Sofia Eleni Spatharioti, David M. Rothschild, Daniel G. Goldstein, Jake M. Hofman
论文ID：2307.03744
分类：Human-Computer Interaction
分类简称：cs.HC
提交时间：2023-07-10