在线连续学习的全面实证评估
摘要：在线持续学习旨在通过直接在具有时间间隙分布的数据流上进行学习，并存储最小量的数据来实现更接近实时学习的体验。在这项实证评估中，我们评估了来自文献的各种解决在线持续学习问题的方法。具体而言，我们专注于在图像分类环境下的类增量设置中，学习者必须从数据流中逐步学习新的类别。我们在Split-CIFAR100和Split-TinyImagenet基准测试中比较了这些方法，并测量了它们的平均准确性、遗忘、稳定性和表示质量，以评估算法在整个训练期间的各个方面。我们发现大多数方法都存在稳定性和欠拟合问题。然而，学到的表示与相同计算预算下的i.i.d.训练相当。结果中没有明显的优胜者，当合理调整和实施时，基本经验回放是一个非常强大的基准线。我们在https://github.com/AlbinSou/ocl\_survey上发布了我们的模块化可扩展代码库，基于avalanche框架，用于重现我们的结果，并鼓励未来的研究。
作者：Albin Soutif--Cormerais, Antonio Carta, Andrea Cossu, Julio Hurtado, Vincenzo Lomonaco, Joost Van de Weijer, Hamed Hemati
论文ID：2308.10328
分类：Machine Learning
分类简称：cs.LG
提交时间：2023-08-22