深度连续学习中的可塑性丧失
摘要：现代深度学习系统专门针对训练只会发生一次而不会再次发生的问题设置进行优化，而不是针对不断学习的问题设置进行优化。如果将深度学习系统应用于不断学习的环境中，则众所周知它们可能无法记住之前的例子。较为基础但不为人所知的是，它们也可能失去对新例子学习的能力，这被称为可塑性丧失现象。我们使用MNIST和ImageNet数据集作为连续学习任务序列的示例直接演示了可塑性丧失现象。在ImageNet中，二分类准确率从早期任务的89%下降到77%，大约与线性网络的水平相当。深度网络的结构、优化器、激活函数、批归一化和dropout等都会引起可塑性丧失，但通过L2正则化可以显著减轻这种现象，尤其是与权重扰动相结合时。此外，我们还引入了一种新的算法——连续反向传播，它在每个示例之后稍微修改传统反向传播算法以重新初始化一小部分不常用的单元，并似乎能够无限期地保持可塑性。
作者：Shibhansh Dohare, J. Fernando Hernandez-Garcia, Parash Rahman, Richard S. Sutton, A. Rupam Mahmood
论文ID：2306.13812
分类：Machine Learning
分类简称：cs.LG
提交时间：2023-08-22