快速机器去学习无需重新训练，通过选择性突触抑制
摘要：机器遗忘，即机器学习模型忘记的能力，日益重要，以便符合数据隐私法规，并删除有害、操纵或过时的信息。关键挑战在于在保护模型在其余数据上的性能的同时，遗忘特定信息。尽管当前最先进的方法表现良好，但通常需要在保留数据上进行一定程度的再训练，以保护或恢复模型的性能。这增加了计算开销，并要求训练数据保持可用和可访问，这可能是不可行的。相反，其他方法采用了无需再训练的范例，然而，这些方法在计算上过于昂贵，并且性能不及基于再训练的对应方法。我们提出了选择性突触阻尼（Selective Synaptic Dampening，SSD），一种新颖的两步后续无需再训练的机器遗忘方法，它快速、高效，并且不需要长期存储训练数据。首先，SSD使用训练和遗忘数据的Fisher信息矩阵来选择对于遗忘集合具有不成比例重要性的参数。其次，SSD通过按照这些参数相对于更广泛的训练数据在遗忘集合上的相对重要性来阻尼这些参数，从而引发遗忘。我们使用ResNet18和Vision Transformer在一系列实验中评估了我们的方法。结果显示，SSD的性能与基于再训练的后续方法相竞争，证明了无需再训练的后续遗忘方法的可行性。
作者：Jack Foster, Stefan Schoepf, Alexandra Brintrup
论文ID：2308.07707
分类：Machine Learning
分类简称：cs.LG
提交时间：2023-08-16