基于 ReRAM 交叉阵列的初始化失败的硬件和软件协同优化
摘要：深度神经网络的最新进展需要处理数百万个参数，并需要高性能计算资源以提高效率。交叉栅极阵列体系结构被视为一种有前景的深度学习体系结构，相较于传统处理器显示出显著的计算增益。为了研究该体系结构的可行性，我们考察了非理想因素及其对性能的影响。具体来说，我们研究了导致基于电阻存储器的交叉栅极阵列初始化过程中出现故障单元的影响。与传统存储阵列不同，无法将单个存储元件重定位，因此可能对模型的准确性造成重大影响。我们对可能的故障进行了分类，并提出了最小化灾难性故障的硬件实现。这种硬件优化限制了故障单元可能的逻辑值，并为我们提供了通过离线训练弥补精度损失的机会。通过在训练中引入随机的权重缺陷，我们展示了模型对设备初始化故障变得更具回复能力，因此更不容易因设备故障而降低推断性能。我们的研究为应对交叉栅极阵列可能的灾难性故障提供了硬件和软件协同优化的方法。
作者：Youngseok Kim, Seyoung Kim, Chun-chen Yeh, Vijay Narayanan, Jungwook Choi
论文ID：2002.04605
分类：Emerging Technologies
分类简称：cs.ET
提交时间：2020-08-24