你的感受如何？衡量用户在仇恨言论检测中拒绝机器决策的感知价值
摘要：使用价值感知的拒绝机制在人工智能 (AI) 和人类协同中加以应用：在社交媒体平台上，对仇恨言论的管理仍然是一个具有挑战性的任务。人工智能和人类协同的系统提供了将人类可靠性和机器学习的可扩展性相结合的潜力，以有效解决这个问题。虽然在人工智能和人类协同中将任务交接的方法中存在考虑错误预测成本的问题，但对准确估计这些成本的关注不够。在这项工作中，我们提出了一个基于用户价值感知的拒绝机制，根据用户对机器决策的价值感知，自动拒绝机器决策进行人类管理。我们进行了一项众包调查研究，共有160名参与者评估了他们在仇恨言论检测领域中对机器决策的正误感知，以及系统拒绝做出预测的情况。在这里，我们引入了“数量估计”作为一种无界量表，作为测量用户对机器决策的(不)一致性的首选方法。我们的结果表明，“数量估计”可以可靠地测量参与者对机器决策的感知。通过将用户感知到的价值融入到人工智能和人类协同中，我们进一步展示了它可以指导我们：1）确定何时接受或拒绝机器决策，以获得模型可以提供的最佳总价值；2）选择比更广泛使用的模型准确性更好的分类模型。
作者：Philippe Lammerts, Philip Lippmann, Yen-Chia Hsu, Fabio Casati, and Jie Yang
论文ID：2307.11806
分类：Human-Computer Interaction
分类简称：cs.HC
提交时间：2023-07-25