了解你的标注者：快速测试情感标注的可靠性
摘要：在获得具有有效和可靠情感标签的大规模语料库方面，情感注释的费力和昂贵是一个关键的不利因素。由于缺乏能有效确定注释者可靠性的工具，本文提出了用于实时连续注释任务的通用质量保证（QA）测试方法。假设注释任务依赖于具有视听组成部分的刺激，如视频，我们提出并评估了两种QA测试方法：视觉QA测试和听觉QA测试。我们验证了这种QA工具，通过要求20位注释者经过测试，然后进行长时间的注释游戏视频参与度的任务。我们的研究结果表明，所提出的QA工具显示，训练有素的注释者比我们雇佣的非训练有素的众包工作者更可靠，这并不令人意外。重要的是，所引入的QA工具能够以80%的准确率有效预测情感注释者的可靠性，从而节省资源、精力和成本，并最大限度地提高在情感语料库中获取的标签的可靠性。所介绍的QA工具可通过PAGAN注释平台获得和使用。
作者：Matthew Barthet, Chintan Trivedi, Kosmas Pinitas, Emmanouil Xylakis, Konstantinos Makantasis, Antonios Liapis, Georgios N. Yannakakis
论文ID：2308.16029
分类：Human-Computer Interaction
分类简称：cs.HC
提交时间：2023-08-31