评估类内特征方差以实现快速准确的可传递性测量
摘要：如何快速准确地找到对下游任务最有用的预训练模型？传递性度量是衡量源任务上学到的预训练模型对目标任务的可传递性的一种方法。它用于快速对给定任务的预训练模型进行排名，因此成为迁移学习的关键步骤。现有方法将传递性度量定义为在传递学习之前源模型对目标数据的判别能力，这不能准确估计微调性能。其中一些限制了传递性度量在选择最佳的有分类器的监督式预训练模型方面的应用。重要的是有一种通用的方法来衡量传递性，可以在各种情况下应用，例如选择最佳的无分类器自监督预训练模型和选择目标任务的最佳传递层。在这项工作中，我们提出了一种快速准确的算法TMI（具有类内特征方差的传递性度量），用于衡量传递性。我们通过测量类内特征方差将传递性视为预训练模型在目标任务上的泛化能力。类内方差评估了模型对新任务的适应能力，衡量模型的可传递性。与先前研究估计模型区分能力的方法相比，类内方差比这些方法更准确，因为它不需要最优的特征提取器和分类器。对真实数据集的大量实验证明，TMI在选择前5个最佳模型方面优于竞争对手，并在17个案例中的13个案例中展示了更一致的更好的相关性。
作者：Huiwen Xu, U Kang
论文ID：2308.05986
分类：Machine Learning
分类简称：cs.LG
提交时间：2023-08-14