NEAT：非线性感知训练用于在1T-1R存储器交叉开关上实现神经网络的准确和能量高效性
摘要：基于非理想性（例如，sneak path）的记忆电阻交叉栅存在计算精度下降的问题，对应的深度神经网络（DNNs）的计算。将一个晶体管（1T）串联至记忆电阻（1R）构成的1T-1R突触用于缓解这种非理想性。我们观察到晶体管的非线性特性会影响1T-1R电池的整体电导，从而影响交叉栅中的矩阵-向量乘法（MVM）运算。这个因输入电压依赖非线性而导致的1T-1R非理想性不仅难以建模或形成，而且在将其映射到交叉栅上时会造成DNNs的性能严重下降。本文分析了1T-1R交叉栅的非线性特性，并提出了一种新颖的适应非理想性的训练方法（NEAT）来解决这些非理想性。具体而言，我们首先确定了网络权重的范围，这些权重可以映射到晶体管的线性工作区域内的1T-1R电池中。然后，我们通过使用迭代训练算法来对DNNs的权重进行正则化，使其存在于线性操作范围内。我们的迭代训练显著恢复了由于非线性导致的分类精度下降。此外，我们发现每一层具有不同的权重分布，进而需要不同的晶体管栅压来保证线性操作。基于这一观察，我们通过对不同层的1T-1R电池应用异构栅压控制来实现能量效率和保持分类精度。最后，我们在CIFAR10和CIFAR100基准数据集上进行各种实验，以证明我们的非线性感知训练方法的有效性。总体而言，NEAT在将ResNet18网络映射到1T-1R交叉栅上时，获得了约20\%的能量增益和不到1\%的精度损失（采用同质栅压控制）。
作者：Abhiroop Bhattacharjee, Lakshya Bhatnagar, Youngeun Kim and Priyadarshini Panda
论文ID：2012.00261
分类：Emerging Technologies
分类简称：cs.ET
提交时间：2020-12-02