制定和检测网络钓鱼：大型语言模型对比较小的人类模型
摘要：使用大型语言模型构建的人工智能程序使得根据用户的少量数据点自动创建钓鱼邮件成为可能。这与黑客根据从经验中获得的一般规则手动设计的传统钓鱼邮件形成对比。 V-Triad 是一组高级规则，用于手动设计钓鱼邮件以利用我们的认知启发和偏见。在本研究中，我们比较了由 GPT-4 自动创建的钓鱼邮件和使用 V-Triad 手动生成的钓鱼邮件的性能。我们还将 GPT-4 与 V-Triad 结合起来评估它们的综合潜力。另外，我们还设立了一个被暴露在普通钓鱼邮件中的对照组。我们采用了一种因子式方法，向112名随机选取的参与者发送邮件进行研究。对照组邮件的点击率在19-28\%之间，GPT生成的邮件为30-44\%，V-Triad生成的邮件为69-79\%，由GPT和V-Triad生成的邮件为43-81\%。要求每个参与者解释为什么他们点击或不点击邮件中的链接。这些答案经常相互矛盾，凸显了个性化内容的需求。使一个人避开钓鱼邮件的线索会让另一个人上当。接下来，我们使用四个流行的大型语言模型（GPT、Claude、PaLM和LLaMA）来检测钓鱼邮件的意图，并将结果与人类的检测进行比较。这些语言模型表现出强大的检测恶意意图的能力，甚至在不明显的钓鱼邮件中也能做到。它们有时超过了人类的检测，虽然通常比人类略微不准确。
作者：Fredrik Heiding, Bruce Schneier, Arun Vishwanath, and Jeremy Bernstein
论文ID：2308.12287
分类：Cryptography and Security
分类简称：cs.CR
提交时间：2023-08-28