通过贝叶斯数据选择实现加速模型训练
摘要：标错、重复或具有偏见的数据在实际场景中可能导致训练时间延长，甚至影响模型的收敛。传统的解决方案将重点放在简单或困难的样本上，缺乏同时处理这种多样性的灵活性。最近的研究提出了一种更合理的数据选择原则，即通过检查数据对模型的泛化损失的影响。然而，其实际应用依赖于不太守规矩的近似方法和额外的干净保留数据。本研究通过利用轻量级的贝叶斯处理和结合基于大规模预训练模型的现成零样本预测器来解决这些问题。得到的算法高效且易于实现。我们在具有大量数据噪音和不平衡的在线批量选择场景中进行了广泛的实证研究，并观察到与竞争基线相比的优秀训练效率。值得注意的是，在具有挑战性的WebVision基准测试中，我们的方法可以在比领先的数据选择方法更少的训练迭代次数下实现类似的预测性能。
作者：Zhijie Deng, Peng Cui, Jun Zhu
论文ID：2308.10544
分类：Machine Learning
分类简称：cs.LG
提交时间：2023-08-22