随机稀疏学习中的动量适应对不精确的忆阻器网络
摘要：基于Memristor的神经网络在芯片神经形态计算系统中具有巨大潜力，因为其具有快速计算和低能耗的特点。然而，现有Memristor器件的不准确特性通常会导致网络在现场训练中发生灾难性故障，从而显著阻碍了其工程应用。在本研究中，我们设计了一种新的学习方案，将随机稀疏更新与动量调整（SSM）相结合，以高精度有效地训练不准确的Memristor网络。SSM方案包括：（1）使用随机和离散的学习方法使权重更新变得稀疏；（2）基于动量的梯度算法消除训练噪声并提取稳健的更新；（3）网络重新初始化方法减轻器件间的差异；（4）更新补偿策略进一步稳定权重编程过程。通过SSM方案的实验结果显示，多层感知器（MLP）和卷积神经网络（CNN）的分类准确率分别从26.12%提高到90.07%和从65.98%提高到92.38%。同时，MLP和CNN中的权重更新脉冲总数分别减少了90%和40%，收敛速度均提高了3倍。SSM方案为不准确的Memristor网络的现场训练提供了高精度、低功耗和快速收敛的解决方案，这对未来的神经形态智能系统至关重要。
作者：Yaoyuan Wang, Shuang Wu, Ziyang Zhang, Lei Tian, Luping Shi
论文ID：1906.02393
分类：Emerging Technologies
分类简称：cs.ET
提交时间：2019-06-07