在线集成持续学习的神经架构
摘要：当类别数量逐渐增加时，持续学习变得具有挑战性。当每个样本只出现一次时，这种困难会增加，这要求模型进行在线学习。最近的方法使用经典参数优化流程在这种设置中表现不佳，或者存在非可微分组件或内存缓冲区等限制。因此，我们提出了完全可微的集成方法，可以有效地在端到端环境中训练神经网络的集成。所提出的技术在没有内存缓冲区的情况下实现了SOTA结果，并明显优于参考方法。进行的实验还显示了小型集成性能的显着提高，这证明可以获得相对较高的分类精度，并减少分类器的数量。
作者：Mateusz W''ojcik, Witold Ko''sciukiewicz, Tomasz Kajdanowicz, Adam Gonczarek
论文ID：2211.14963
分类：Machine Learning
分类简称：cs.LG
提交时间：2023-08-22