AUC的误用：高影响风险评估犯的错误
摘要：对于确定哪种机器学习模型最适合执行一些高影响的风险评估任务时，从业人员通常使用曲线下的面积（AUC）来支持和验证他们的模型选择。在本文中，我们认为目前对AUC的使用和理解作为一个模型性能度量存在误解，与该度量指标的原始用途有所偏离。为此，我们描述了对AUC的误用并说明了这种误用在几个风险评估领域中如何负面显现。我们发现，这种矛盾体现在对AUC的原始解释随着时间推移而发生了转变，以至于决策阈值、类别平衡、统计不确定性和受保护群体等问题在基于AUC的模型比较中仍未得到解决，而本应由决策者担当的模型选择则隐藏在数学严谨性的掩盖背后。我们得出结论，目前涉及AUC的模型验证实践不够健壮，通常是无效的。
作者：Kweku Kwegyir-Aggrey, Marissa Gerchick, Malika Mohan, Aaron Horowitz, Suresh Venkatasubramanian
论文ID：2305.18159
分类：Computers and Society
分类简称：cs.CY
提交时间：2023-05-30