AI ATAC 1：对知名商业恶意软件检测器的评估
摘要：六个著名的商业终端恶意软件检测器、一个网络恶意软件检测器和一个来自网络技术供应商的文件唤醒算法的评估，是本研究的重点。这个评估是以美国海军资助的“人工智能应用于自主网络安全”（AI ATAC）奖的挑战为基础进行的。实验使用了10万个文件（50/50\%良性/恶意），这些文件的类型按统计分布进行了分类，其中包括了约1千个零日程序可执行文件。为了提高实验的准确性，我们在实验中采用了一种新的评估方法，即将文件传输到一个全新的虚拟机中，等待90秒进行静态检测，然后执行文件，并再次等待一段时间进行动态检测。这种方法可以提供比之前实验更准确的观测数据，尤其是资源和检测时间的统计信息。为了执行所有80万个实验（10万个文件乘以8个工具），我们设计了一个软件框架，将实验完全自动化、时间同步和可再现的工作流程，并进行了大规模并行化。通过模拟使用成本，配置了一个成本效益模型，将工具的召回率、精确度、检测时间和资源需求集成到一个比较性的量中。这为网络安全竞赛提供了一个排名方法，并为结果提供了多个统计视角的分析途径。这些统计和成本模型结果为商业恶意软件检测的状况提供了一些见解。
作者：Robert A. Bridges, Brian Weber, Justin M. Beaver, Jared M. Smith, Miki E. Verma, Savannah Norem, Kevin Spakes, Cory Watson, Jeff A. Nichols, Brian Jewell, Michael. D. Iannacone, Chelsey Dunivan Stahl, Kelly M.T. Huffer, T. Sean Oesch
论文ID：2308.14835
分类：Cryptography and Security
分类简称：cs.CR
提交时间：2023-08-30