搜索或审查证据改善众包工作者对错误信息的判断并减少党派偏见
摘要：群体工作者是否值得信任，能否判断在互联网上流传的新闻类文章是否误导，或者党派性和经验不足是不是阻碍了这一判断？是否可以以一种方式构建任务，减少党派性？我们组成了自由派和保守派的人群评价者小组，并测试了三种方式让他们对374篇文章作出评判。在无研究条件下，他们被要求只查看文章然后给出判断。在个体研究条件下，他们还被要求搜索证实性的证据并提供他们找到的最佳证据的链接。在集体研究条件下，他们不被要求搜索，而是要审查来自个体研究条件下工作者收集的链接。这两种研究条件都减少了党派性在判断中的分歧。个体研究条件在产生与记者评估的协调性方面最有效。在这个条件下，十六位或更多的群体工作者的判断比三位专家记者小组的判断更好，衡量标准是与一位持有记者给出的评级的协调性。
作者：Paul Resnick, Aljohara Alfayez, Jane Im, Eric Gilbert
论文ID：2108.07898
分类：Human-Computer Interaction
分类简称：cs.HC
提交时间：2023-05-30