长尾识别的双分支温度缩放校准
摘要：深度神经网络的校准目前受到广泛关注和研究。错误校准通常会导致模型过于自信。而当数据呈现长尾分布时，由于少数类别和多数类别的样本置信水平不同，错误校准问题更加突出，这会导致更严重的过于自信现象。为了解决这个问题，一些当前的研究基于温度缩放方法设计了不同类别的多样的温度系数。然而，在少数类别中存在稀有样本的情况下，温度系数是不具有泛化能力的，并且训练集和验证集之间的温度系数存在较大差异。为了解决这个挑战，本文提出了一个双分支温度缩放校准模型（Dual-TS），同时考虑了不同类别的温度参数的差异以及稀有样本在少数类别中的温度参数的非泛化性。此外，我们注意到传统的校准评估指标-期望校准误差（ECE）在对少数类别中置信度低的样本给予较大的权重，导致了对模型校准的不准确评估。因此，我们还提出了均等样本组的期望校准误差（Esbin-ECE）作为一种新的校准评估指标。通过实验证明，我们的模型在传统的ECE和Esbin-ECE指标上取得了最先进的结果。
作者：Jialin Guo, Zhenyu Wu, Zhiqiang Zhan, Yang Ji
论文ID：2308.08366
分类：Machine Learning
分类简称：cs.LG
提交时间：2023-08-17