SwitchX: 在ReRAM Xbars上实现能效和鲁棒性二值神经网络的Gmin-Gmax切换
摘要：使用Memristive交叉点能够有效地实现二值神经网络(BNN)，其中权重存储在突触的高电阻状态 (HRS) 和低电阻状态 (LRS) 中。我们提出了SwitchX映射方法，将BNN权重映射到ReRAM交叉点，从而最大限度地减小交叉点非理想性所带来的计算准确性降低。SwitchX实际上是将二进制权重映射在交叉点实例中，使得HRS突触的数量多于LRS突触。结果显示，使用SwitchX映射在交叉点上的BNN比标准交叉点映射的BNN表现出更好的抵御对抗攻击的能力。最后，将SwitchX与状态感知训练结合在一起(进一步增加权重映射过程中HRS状态的可行性)，以提高硬件上BNN的抵抗力。实验结果显示，这种方法比对抗训练 (一种当前最先进的软件防御) 能够更有效地抵御对抗攻击。我们在VGG16 BNN上进行实验，使用基准数据集 (CIFAR-10、CIFAR-100和TinyImagenet)，并使用了快速梯度符号方法和投影梯度下降对抗攻击。结果显示，SwitchX与状态感知训练相结合，可以将清晰度准确度提高约35%，对抗准确度提高约6-16%，而传统BNN不能做到这一点。此外，SwitchX映射的一个重要副产品是交叉点功耗的增加，这是由于HRS突触的比例增加，而通过状态感知训练又进一步增加了这种功耗的节省。在使用CIFAR-10和CIFAR-100数据集的16x16和32x32交叉点上，我们的状态感知训练BNN通过SwitchX映射可以节约约21-22%的交叉点功耗。
作者：Abhiroop Bhattacharjee and Priyadarshini Panda
论文ID：2011.14498
分类：Emerging Technologies
分类简称：cs.ET
提交时间：2022-12-13