基于具有突变LTP或LTD特性的突触器件的硬件神经网络的新型权重更新方案
摘要：针对基于突触器件的神经网络中非线性权重更新特性的主要挑战之一是减轻这种特性。本文提出了一种名为条件反向更新方案（CRUS）的新型权重更新方法，用于具有高度非线性或突然的传导率更新特性的硬件神经网络（HNN）。我们制定了一种线性优化方法，用于在突触器件中调整传导率，以减少权重变化与随机梯度规则（SGD）算法计算出的权重变化之间的平均偏差。我们引入了一个称为更新噪声（UN）的度量来分析训练过程中的训练动态。然后，我们设计了一种权重更新规则，以减少训练过程中的平均UN。在高度非线性的长期增强（LTP）和长期抑制（LTD）条件下，通过使用不准确和不频繁的传导率感测，优化的网络在MNIST数据集上实现了>90\%的准确率。此外，所提出的方法在相同的硬件规格和器件条件下显示出比先前报道的非线性权重更新缓解技术更好的准确性。它还展现了对传导率更新的时间变化的鲁棒性。我们希望我们的方案能够减轻设备和电路工程方面的设计要求，并成为未来硬件神经网络中可以应用的实际技术。
作者：Junmo Lee, Joon Hwang, Youngwoon Cho, Sangbum Kim, and Jongho Lee
论文ID：2111.07113
分类：Emerging Technologies
分类简称：cs.ET
提交时间：2022-02-08