用Prompt注入保护众包调查免受ChatGPT的影响
摘要：使用ChatGPT和其他大型语言模型(LLMs)在众包任务中已被证明很有用，它们可以有效地注释机器学习训练数据。然而，这也意味着它们有潜力被滥用，特别是用于自动回答调查问卷。LLMs有可能规避质量保证措施，从而威胁到依赖于众包调查的方法的完整性。在本文中，我们提出了一种检测LLM生成的调查问卷回答的机制。该机制使用"提示注入"，例如误导LLMs产生可预测回答的指示。我们对一系列问题场景、类型和位置进行了技术评估，并发现它能够可靠地以超过93%的准确度检测到LLM生成的回答。我们还提供了一个开源软件，以帮助调查问卷设计者使用我们的技术来检测LLM回答。我们的工作是确保调查方法与LLMs保持严谨的一步。
作者：Chaofan Wang, Samuel Kernan Freire, Mo Zhang, Jing Wei, Jorge Goncalves, Vassilis Kostakos, Zhanna Sarsenbayeva, Christina Schneegass, Alessandro Bozzon, Evangelos Niforatos
论文ID：2306.08833
分类：Human-Computer Interaction
分类简称：cs.HC
提交时间：2023-06-16