AdaER：一种适应性经验回放方法用于持续终身学习
摘要：连续终身学习是一种受到人类学习启发的机器学习框架，其中学习者以连续顺序的方式不断地获取新知识。然而，流式训练数据的非平稳性导致了一个重要的挑战，即灾难性遗忘，指的是当引入新任务时，之前学到的知识被迅速遗忘。尽管一些方法，如经验回放（ER），已经提出来缓解这个问题，但它们的性能仍然有限，特别是在被认为是自然且极具挑战性的逐类增量场景中。在本文中，我们提出了一种新算法，称为自适应经验回放（AdaER），用于解决连续终身学习的挑战。AdaER由两个阶段组成：内存回放和内存更新。在内存回放阶段，AdaER引入了一种上下文提示的记忆召回（C-CMR）策略，选择性地回放与当前输入数据在数据和任务方面最为冲突的记忆。此外，AdaER还采用了一种熵平衡的蓄水池采样（E-BRS）策略，通过最大化信息熵来提高内存缓冲区的性能。为了评估AdaER的有效性，我们在已建立的监督式连续终身学习基准测试上进行了实验，特别关注逐类增量学习场景。结果表明，AdaER优于现有的连续终身学习基准线，凸显了它在缓解灾难性遗忘和提高学习性能方面的功效。
作者：Xingyu Li, Bo Tang, Haifeng Li
论文ID：2308.03810
分类：Machine Learning
分类简称：cs.LG
提交时间：2023-08-22