关于无需权重绑定的真实不变性学习
摘要：神经网络从数据中学习的不变性的属性和限制与通过不变性权重绑定实现的真实不变性进行比较，我们采用群论的视角，并分析神经网络中无约束的不变性学习。我们证明，即使网络学会在群轨道上正确分类样本，该模型的决策仍不具备真正的不变性。相反，学到的不变性严重依赖于输入数据，如果输入分布发生变化，则不可靠。接下来，我们示范如何通过在训练时正则化模型的不变性来引导不变性学习朝着真正的不变性发展。为此，我们提出了几个衡量学到的不变性的指标：（i）预测分布不变性，（ii）逻辑单元不变性，（iii）显著性不变性相似度。我们展示了通过不变性误差正则化学习到的不变性与权重绑定模型的真实不变性非常接近，并在严重的输入分布变化情况下可靠地保持。对学到的不变性的进一步分析还揭示了谱衰减现象，即当网络选择通过减少对任何输入扰动的敏感性来实现对特定变换群的不变性时。
作者：Artem Moskalev and Anna Sepliarskaia and Erik J. Bekkers and Arnold Smeulders
论文ID：2308.03904
分类：Machine Learning
分类简称：cs.LG
提交时间：2023-08-09